Was ist der minimale nachweisbare Effekt?

Minimum Detectable Effect (MDE) — это минимальный размер эффекта (изменения метрики), который можно статистически достоверно обнаружить в A/B-тесте при заданном уровне значимости и мощности теста.

Проще говоря, MDE показывает, насколько сильно должна измениться метрика (например, конверсия), чтобы мы могли с уверенностью сказать, что изменение не случайно.

Знание MDE помогает:

• Определить необходимый размер выборки для теста.
• Понять, какие изменения действительно значимы для бизнеса.

Например, если MDE равен 5%, значит, тест сможет выявить улучшение или ухудшение метрики не менее чем на 5% с заданной статистической уверенностью.