Čo je to chyba familywise?

Chyba rodiny (FWER) je pravdepodobnosť, že pri vykonávaní viacerých štatistických testov súčasne dôjde aspoň k jednej chybe prvého druhu (falošne pozitívny výsledok). V kontexte A/B testov, ak kontrolujeme niekoľko hypotéz alebo metrík, celková pravdepodobnosť, že nesprávne zamietneme aspoň jednu pravdivú nulovú hypotézu, sa zvyšuje.

Napríklad, ak vykonáme 20 nezávislých testov s úrovňou významnosti 0,05, pravdepodobnosť, že získame aspoň jeden falošne pozitívny výsledok, bude značne vyššia ako 5 %. Na kontrolu FWER sa používajú korekcie, ako je Bonferroniho metóda, ktorá znižuje úroveň významnosti pre každý jednotlivý test, aby celková pravdepodobnosť chyby zostala na stanovenom leveli.