Was ist der familywise Fehler?

Fehlerfamilie (FWER) ist die Wahrscheinlichkeit, bei der Durchführung mehrerer statistischer Tests gleichzeitig mindestens einen Fehler ersten Typs (falsch positives Ergebnis) zu begehen. Im Kontext von A/B-Tests, wenn wir mehrere Hypothesen oder Metriken überprüfen, steigt die Gesamtwahrscheinlichkeit, mindestens eine wahre Nullhypothese fälschlicherweise abzulehnen.

Zum Beispiel, wenn man 20 unabhängige Tests mit einem Signifikanzniveau von 0,05 durchführt, ist die Wahrscheinlichkeit, mindestens ein falsch positives Ergebnis zu erhalten, deutlich höher als 5 %. Um den FWER zu kontrollieren, werden Korrekturen angewendet, wie die Bonferroni-Methode, die das Signifikanzniveau für jeden einzelnen Test verringert, damit die Gesamtwahrscheinlichkeit eines Fehlers auf dem festgelegten Niveau bleibt.