Czym jest błąd familywise?

Błąd rodzinny (FWER) — to prawdopodobieństwo popełnienia przynajmniej jednego błędu pierwszego rodzaju (wynik fałszywie dodatni) podczas przeprowadzania wielu testów statystycznych jednocześnie. W kontekście testów A/B, jeśli sprawdzamy kilka hipotez lub metryk, łączna szansa na błędne odrzucenie przynajmniej jednej prawdziwej hipotezy zerowej wzrasta.

Na przykład, jeśli przeprowadzimy 20 niezależnych testów z poziomem istotności 0,05, prawdopodobieństwo uzyskania przynajmniej jednego wyniku fałszywie dodatniego będzie znacznie wyższe niż 5%. Aby kontrolować FWER, stosuje się korekty, takie jak metoda Bonferroni, która zmniejsza poziom istotności dla każdego pojedynczego testu, aby łączna szansa na błąd pozostała na ustalonym poziomie.