Was ist das Peeking-Problem bei A/B-Tests?

Peeking-Problem in A/B-Tests ist eine Situation, in der der Experimentator wiederholt die Zwischenergebnisse des Tests überprüft und Entscheidungen über dessen Beendigung oder Änderung auf Grundlage dieser vorläufigen Daten trifft.

Das Problem ist, dass häufige Überprüfungen die Wahrscheinlichkeit von falsch-positiven Ergebnissen (Fehler erster Art) erhöhen, das heißt, man könnte fälschlicherweise annehmen, dass eine Version besser ist, obwohl es in Wirklichkeit Zufall ist.

Um das Peeking-Problem zu vermeiden, werden Methoden zur Korrektur des Signifikanzniveaus verwendet (z.B. Korrekturen für multiple Vergleiche) oder es werden feste Analysezeitpunkte im Voraus geplant.