Wat is een familywise fout?

Familie-fout (FWER) is de kans om minstens één type I-fout (vals-positief resultaat) te maken bij het gelijktijdig uitvoeren van meerdere statistische tests. In de context van A/B-tests, als we meerdere hypotheses of metrics controleren, neemt de totale kans toe dat we ten onrechte minstens één ware nulhypothese verwerpen.

Bijvoorbeeld, als we 20 onafhankelijke tests uitvoeren met een significantieniveau van 0,05, zal de kans op het krijgen van minstens één vals-positief resultaat veel hoger zijn dan 5%. Om FWER te controleren, worden correcties toegepast, zoals de Bonferroni-methode, die het significantieniveau voor elke afzonderlijke test verlaagt zodat de totale foutkans op het ingestelde niveau blijft.