Что такое p-value и как по нему делать выводы при обсчёте A/B теста (отвергать или не отвергать нулевую гипотезу)?

P-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна.

При A/B тестировании:

• Нулевая гипотеза (H0) обычно утверждает, что между группами нет разницы.
• Если p-value меньше выбранного уровня значимости (обычно 0.05), то мы отвергаем нулевую гипотезу — значит, есть статистически значимая разница.
• Если p-value больше или равен уровню значимости, то нет оснований отвергать нулевую гипотезу — разница может быть случайной.

Пример:

Если p-value = 0.03 и уровень значимости 0.05, то отвергаем H0 и считаем, что изменения в группе B действительно влияют на метрику.

Важно помнить, что p-value не показывает величину эффекта или его практическую значимость, а только статистическую.