¿Qué es la significación estadística?

La significancia estadística (statistical significance) es una medida de cuánto difieren los resultados obtenidos en un experimento (por ejemplo, una prueba A/B) de las fluctuaciones aleatorias y pueden considerarse confiables.

Si el resultado es estadísticamente significativo, significa que la probabilidad de obtener esos datos por azar es muy baja (generalmente menos del 5%). Esto ayuda a tomar la decisión de que el cambio realmente afecta la métrica y no es un ruido aleatorio.

Por ejemplo, si en una prueba A/B la conversión en el grupo B es mayor y el valor p es menor a 0.05, se puede decir con certeza que la mejora no es casual.