Какво е грешката familywise?

Грешка в семейството (FWER) — това е вероятността да се допусне поне една грешка от първи тип (фалшиво положителен резултат) при провеждане на множество статистически тестове едновременно. В контекста на A/B тестовете, ако проверяваме няколко хипотези или метрики, общата вероятност за грешно отхвърляне на поне една истинска нулева хипотеза се увеличава.

Например, ако проведем 20 независими теста с ниво на значимост 0.05, вероятността да получим поне един фалшиво положителен резултат ще бъде значително по-висока от 5%. За контрол на FWER се прилагат корекции, като методът Бонферони, който намалява нивото на значимост за всеки отделен тест, за да остане общата вероятност за грешка на зададеното ниво.