Familywise hatası nedir?

Aile Hatası Oranı (FWER), aynı anda birden fazla istatistiksel testi gerçekleştirirken en az birinci tür hata (yanlış pozitif sonuç) yapma olasılığıdır. A/B testleri bağlamında, birkaç hipotez veya metriği kontrol ediyorsak, yanlışlıkla en az bir doğru sıfır hipotezini reddetme olasılığı artar.

Örneğin, bağımsız 20 test yaparsak ve anlamlılık seviyesini 0.05 olarak belirlersek, en az bir yanlış pozitif sonuç alma olasılığı %5'ten çok daha yüksek olur. FWER'yi kontrol etmek için, Bonferroni yöntemi gibi düzeltmeler uygulanır; bu, her bir test için anlamlılık seviyesini azaltır, böylece toplam hata olasılığı belirlenen seviyede kalır.