Что хотят услышать интервьюеры:

Statistical significance показывает, насколько наблюдаемый эффект маловероятен, если на самом деле различий нет. p-value — это вероятность получить результат не менее экстремальный, чем наблюдаемый, при условии, что нулевая гипотеза верна. В экспериментах это помогает решить, можно ли считать эффект не случайным.

Определение:

Statistical significance — это критерий, по которому проверяют, достаточно ли наблюдаемых данных, чтобы отвергнуть нулевую гипотезу. Обычно сравнивают p-value с заранее выбранным уровнем значимости α, например 0.05. Если p-value меньше α, результат считают статистически значимым.

p-value не показывает вероятность того, что гипотеза верна. Это вероятность увидеть такие данные или более экстремальные данные при условии, что нулевая гипотеза истинна.

Пример использования:

Допустим, в A/B-тесте сравнивают конверсию двух вариантов. Вариант B дал конверсию 5.4%, а A — 5.0%. После статистического теста получили p-value = 0.03. Это означает, что если бы реального эффекта не было, шанс увидеть такой или более сильный разброс данных был бы 3%. При α = 0.05 результат считают статистически значимым.

from scipy import stats

# Пример: сравнение конверсий через z-test для долей
# Условно:
# A: 500 конверсий из 10000
# B: 540 конверсий из 10000

p1 = 500 / 10000
p2 = 540 / 10000

# pooled proportion
p_pool = (500 + 540) / (10000 + 10000)

# стандартная ошибка
se = (p_pool * (1 - p_pool) * (1/10000 + 1/10000)) ** 0.5

z = (p2 - p1) / se
p_value = 2 * (1 - stats.norm.cdf(abs(z)))

print(z, p_value)

Пояснение кода:

В этом примере код не обязателен для понимания концепта, но он показывает типовой расчет p-value для сравнения двух долей.

Считается конверсия в каждой группе.
При предположении, что разницы нет, оценивается общая доля успехов p_pool.
На основе p_pool вычисляется стандартная ошибка разницы.
Из разницы конверсий строится z-статистика.
По z-статистике находится двусторонний p-value.
Если p_value < 0.05, эффект обычно считают статистически значимым.

Ключевые моменты:

Statistical significance отвечает на вопрос: «насколько вероятно увидеть такой результат случайно, если эффекта нет».
p-value — это не вероятность нулевой гипотезы и не вероятность того, что эксперимент “успешен”.
Малый p-value говорит только о несовместимости данных с нулевой гипотезой, но не о величине эффекта.
Для бизнес-решений важно смотреть не только на p-value, но и на размер эффекта, доверительные интервалы и практическую значимость.
Значимость зависит от заранее выбранного уровня α; частый выбор — 0.05, но он не является универсальным.
При большом объеме данных даже очень маленький эффект может стать статистически значимым.

Что такое statistical significance и как считается p-value?