Ce este eroarea familywise?

Eroarea familială (FWER) — este probabilitatea de a comite cel puțin o eroare de primul tip (rezultat fals pozitiv) atunci când se efectuează mai multe teste statistice simultan. În contextul testelor A/B, dacă verificăm mai multe ipoteze sau metrici, probabilitatea totală de a respinge în mod eronat cel puțin o ipoteză nulă adevărată crește.

De exemplu, dacă realizăm 20 de teste independente cu un nivel de semnificație de 0,05, probabilitatea de a obține cel puțin un rezultat fals pozitiv va fi mult mai mare decât 5%. Pentru a controla FWER, se aplică corecții, cum ar fi metoda Bonferroni, care reduce nivelul de semnificație pentru fiecare test individual, astfel încât probabilitatea totală de eroare să rămână la nivelul stabilit.