Что такое statistical significance и как считается p-value?

Статистическая значимость (statistical significance) — это мера того, насколько полученный результат эксперимента или теста маловероятен при условии, что нулевая гипотеза верна. Если результат статистически значим, это значит, что вероятность получить такой результат случайно очень мала, и можно отвергнуть нулевую гипотезу.

p-value — это вероятность наблюдать данные, равные или более экстремальные, чем фактически полученные, при условии, что нулевая гипотеза верна. Чем меньше p-value, тем сильнее доказательства против нулевой гипотезы.

Для вычисления p-value обычно:

1. Формулируется нулевая гипотеза (например, отсутствие разницы между группами).
2. Выбирается статистика теста (например, t-статистика).
3. Рассчитывается значение статистики по данным.
4. Определяется вероятность получить такое или более экстремальное значение статистики из распределения при нулевой гипотезе — это и есть p-value.

Если p-value меньше заранее выбранного уровня значимости (обычно 0.05), результат считается статистически значимым.