Что такое p-value?

P-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна. В статистике и машинном обучении p-value помогает оценить значимость результатов теста или модели.

Если p-value мало (обычно меньше 0.05), это говорит о том, что наблюдаемые данные маловероятны при условии, что нулевая гипотеза верна, и её стоит отвергнуть. Если p-value велико, недостаточно оснований отвергать нулевую гипотезу.

Пример: при проверке, влияет ли новый алгоритм на точность модели, нулевая гипотеза — «алгоритм не влияет». Если p-value = 0.01, значит вероятность получить такие данные при отсутствии эффекта — 1%, и можно считать, что алгоритм действительно влияет на точность.