O que é significância estatística?

A significância estatística (statistical significance) é uma medida de quão diferentes são os resultados obtidos em um experimento (por exemplo, um teste A/B) das flutuações aleatórias e podem ser considerados confiáveis.

Se o resultado é estatisticamente significativo, isso significa que a probabilidade de obter esses dados por acaso é muito baixa (geralmente menos de 5%). Isso ajuda a decidir se a mudança realmente afeta a métrica ou se é apenas um ruído aleatório.

Por exemplo, se em um teste A/B a conversão no grupo B é maior e o valor p é menor que 0,05, podemos afirmar com certeza que a melhoria não é acidental.