Mis on familywise viga?

Familywise error (FWER) — see on tõenäosus teha vähemalt üks esimese liigi viga (valepositiivne tulemus) samaaegselt mitme statistilise testi tegemisel. A/B testide kontekstis, kui kontrollime mitmeid hüpoteese või mõõdikuid, suureneb üldine tõenäosus, et vääralt hülgame vähemalt ühe tõese nullhüpoteesi.

Näiteks, kui teeme 20 sõltumatut testi, mille tähtsusnivõrd on 0,05, on tõenäosus saada vähemalt üks valepositiivne tulemus palju suurem kui 5%. FWER-i kontrollimiseks rakendatakse korrigeerimisi, näiteks Bonferroni meetodit, mis vähendab iga üksiku testi tähtsusnivõrd, et kogu vea tõenäosus püsiks määratud tasemel.