Šta je familywise greška?

Грешка у породици (FWER) — то је вероватноћа да се направи бар једна грешка првог типа (лажно позитиван резултат) при извођењу више статистичких тестова истовремено. У контексту A/B тестова, ако проверимо више хипотеза или метрика, укупна вероватноћа да грешком одбацимо бар једну истиниту нулеву хипотезу расте.

На пример, ако спроведемо 20 независних тестова са нивоом значајности од 0,05, вероватноћа да добијемо бар један лажно позитиван резултат биће знатно већа од 5%. Да бисмо контролисали FWER, примењују се корекције као што је Бонферони метод, који смањује ниво значајности за сваки појединачни тест тако да укупна вероватноћа грешке остане на задатом нивоу.