Какие статистические критерии знаешь? Для каких метрик какой использовать?

Основные статистические критерии, которые часто используются в аналитике продуктов:

• t-критерий Стьюдента — для сравнения средних значений двух выборок (например, среднее время сессии до и после изменения интерфейса).
• Критерий Манна-Уитни — непараметрический аналог t-теста, когда данные не нормальны.
• χ² (хи-квадрат) тест — для проверки связи между категориальными переменными (например, конверсия по разным группам пользователей).
• ANOVA — для сравнения средних более чем двух групп.
• Критерий Колмогорова-Смирнова — для проверки, принадлежат ли две выборки одной распределению.

Какой критерий использовать зависит от метрики и данных:

• Для метрик с нормальным распределением и количественных данных (например, среднее время, средний чек) — t-тест или ANOVA.
• Для непрерывных данных без нормального распределения — непараметрические тесты (Манна-Уитни).
• Для категориальных метрик (конверсия, доля пользователей) — χ² тест или точный критерий Фишера.

Важно также учитывать размер выборки и предпосылки теста (нормальность, гомогенность дисперсий).