Что такое statistical significance?

Статистическая значимость (statistical significance) — это мера того, насколько полученные результаты эксперимента (например, A/B-теста) отличаются от случайных колебаний и могут считаться достоверными.

Если результат статистически значим, это значит, что вероятность получить такие данные случайно очень мала (обычно менее 5%). Это помогает принять решение, что изменение действительно влияет на метрику, а не является случайным шумом.

Например, если в A/B-тесте конверсия в группе B выше, и p-значение меньше 0.05, то можно с уверенностью сказать, что улучшение не случайно.