Kas yra familywise klaida?

Šeimos klaida (FWER) — tai tikimybė padaryti bent vieną pirmojo tipo klaidą (klaidingai teigiamas rezultatas) atliekant kelis statistinius testus vienu metu. A/B testų kontekste, jei tikriname kelias hipotezes ar metrikas, bendras klaidos tikimybė, kad neteisingai atmesti bent vieną teisingą nulio hipotezę, didėja.

Pavyzdžiui, jei atliekame 20 nepriklausomų testų su reikšmingumo lygiu 0,05, tikimybė gauti bent vieną klaidingai teigiamą rezultatą bus žymiai didesnė nei 5%. FWER kontrolės tikslais taikomos korekcijos, tokios kaip Bonferroni metodas, kurios sumažina kiekvieno testo reikšmingumo lygį, kad bendras klaidos tikimybė išliktų nustatytame lygyje.