Was ist der minimale nachweisbare Effekt (MDE)?

Der Minimale Nachweisbare Effekt (MDE) ist die minimale Effektgröße (der Unterschied zwischen Kontroll- und Testgruppe), die in einem Experiment statistisch zuverlässig erkannt werden kann, zum Beispiel in einem A/B-Test.

Der MDE hilft dabei zu bestimmen, wie groß der Unterschied in den Metriken sein muss, um das Ergebnis als signifikant und nicht zufällig zu betrachten. Dies ist ein wichtiger Parameter bei der Planung des Experiments, da er die Stichprobengröße und die Dauer des Tests beeinflusst.

Wenn beispielsweise der MDE 5 % beträgt, muss das Experiment in der Lage sein, eine Veränderung der Metrik von mindestens 5 % zu erkennen, um das Ergebnis als statistisch signifikant zu betrachten.