Какие статистические тесты применяются в аб-тестах?

В A/B-тестах обычно применяются следующие статистические тесты для оценки значимости различий между группами:

• t-тест (Student's t-test) — проверяет, есть ли статистически значимая разница между средними значениями двух групп. Часто используется для непрерывных метрик.
• Z-тест — применяется при больших объемах выборок и известной дисперсии, для сравнения долей или средних.
• Тесты на пропорции (например, тест хи-квадрат) — для сравнения долей успеха (конверсий) между группами.
• Mann-Whitney U тест — непараметрический тест для сравнения двух независимых выборок, если данные не нормальны.

Выбор теста зависит от типа данных (числовые, категориальные), распределения и размера выборки. Важно также учитывать корректировку на множественные сравнения, если тестируется несколько метрик.