Como é que o valor p relaciona os dados observados com a hipótese nula?

p-valor — é a probabilidade de obter dados observados (ou mais extremos), se a hipótese nula for verdadeira. Em outras palavras, o p-valor mostra o quão bem os dados concordam com a suposição de que não há efeito.

Se o p-valor for muito pequeno (geralmente menor que 0,05), isso indica que os dados observados são pouco prováveis sob a hipótese nula, e podemos rejeitar a hipótese nula em favor da alternativa.

Exemplo: se estamos testando se um novo algoritmo afeta a precisão do modelo, a hipótese nula é que o algoritmo não tem efeito. Um p-valor pequeno indicará que os dados são pouco prováveis na ausência de efeito, portanto o algoritmo realmente tem efeito.

Assim, o p-valor conecta os dados observados à hipótese nula através da probabilidade de observar tais dados se a hipótese nula for verdadeira.