Что такое MDE (minimal detectable effect)?

Minimal Detectable Effect (MDE) — это минимальный размер эффекта (разница между контрольной и тестовой группами), который можно статистически надежно обнаружить в эксперименте, например, в A/B-тесте.

MDE помогает определить, насколько большой должна быть разница в метриках, чтобы считать результат значимым и не случайным. Это важный параметр при планировании эксперимента, так как влияет на размер выборки и длительность теста.

Например, если MDE равен 5%, значит эксперимент должен быть способен обнаружить изменение метрики не менее чем на 5%, чтобы считать результат статистически значимым.