Что такое p-value?

P-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна. В статистике и машинном обучении p-value помогает оценить значимость результатов теста или модели.

Если p-value мало (обычно меньше 0.05), это говорит о том, что наблюдаемые данные маловероятны при условии, что нулевая гипотеза верна, и её стоит отвергнуть. Если p-value велико, недостаточно оснований отвергать нулевую гипотезу.

Пример: при проверке, влияет ли новый алгоритм на точность модели, нулевая гипотеза — «алгоритм не влияет». Если p-value = 0.01, значит вероятность получить такие данные при отсутствии эффекта — 1%, и можно считать, что алгоритм действительно влияет на точность.

p-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна. Проще говоря, это мера того, насколько данные согласуются с предположением, что никакого эффекта или различия нет.

Для чего нужно p-value:

• Помогает принять решение о том, отвергать или не отвергать нулевую гипотезу в статистическом тесте.
• Если p-value меньше заранее выбранного уровня значимости (например, 0.05), то считается, что наблюдаемые данные маловероятны при условии нулевой гипотезы, и её отвергают.

Например, при проверке эффективности лекарства нулевая гипотеза может быть, что лекарство не влияет на выздоровление. Если p-value очень маленькое, это говорит о том, что данные маловероятны при отсутствии эффекта, и можно предположить, что лекарство действительно работает.