Co je to chyba familywise?

Chyba rodiny (FWER) je pravděpodobnost, že při provádění více statistických testů současně dojde alespoň k jedné chybě prvního druhu (falešně pozitivní výsledek). V kontextu A/B testů, pokud kontrolujeme několik hypotéz nebo metrik, zvyšuje se celková pravděpodobnost, že nesprávně zamítneme alespoň jednu pravdivou nulovou hypotézu.

Například, pokud provedeme 20 nezávislých testů s úrovní významnosti 0,05, pravděpodobnost, že získáme alespoň jeden falešně pozitivní výsledek, bude výrazně vyšší než 5 %. Pro kontrolu FWER se používají korekce, například Bonferroniho metoda, která snižuje úroveň významnosti pro každý jednotlivý test, aby celková pravděpodobnost chyby zůstala na stanovené úrovni.