Что такое familywise error?

Familywise error (FWER) — это вероятность совершить хотя бы одну ошибку первого рода (ложноположительный результат) при проведении множества статистических тестов одновременно. В контексте A/B-тестов, если мы проверяем несколько гипотез или метрик, то суммарная вероятность ошибочно отвергнуть хотя бы одну истинную нулевую гипотезу возрастает.

Например, если провести 20 независимых тестов с уровнем значимости 0.05, то вероятность получить хотя бы один ложноположительный результат будет значительно выше 5%. Чтобы контролировать FWER, применяют корректировки, например, метод Бонферрони, который уменьшает уровень значимости для каждого отдельного теста, чтобы общая вероятность ошибки оставалась на заданном уровне.