Mi az a familywise hiba?

Családi hiba (FWER) — annak a valószínűsége, hogy egyszerre több statisztikai teszt elvégzése során legalább egy első típusú hiba (hamis pozitív eredmény) forduljon elő. Az A/B tesztek kontextusában, ha több hipotézist vagy mérőszámot ellenőrzünk, nő az esélye annak, hogy tévesen elutasítunk legalább egy igaz nullhipotézist.

Például, ha 20 független tesztet végzünk 0,05-ös szignifikanciaszinten, akkor az esély arra, hogy legalább egy hamis pozitív eredményt kapjunk, jóval meghaladja az 5%-ot. Az FWER kontrollálására olyan korrekciókat alkalmaznak, mint a Bonferroni-módszer, amely csökkenti az egyes tesztek szignifikanciaszintjét, hogy a hibák összeszámított valószínűsége a megadott szinten maradjon.