¿Qué es un intervalo de confianza?

El intervalo de confianza (confidence interval) es un rango de valores que, con una probabilidad dada (por ejemplo, 95%), contiene el valor verdadero del parámetro en la población general. En el contexto de las pruebas A/B, ayuda a evaluar cuán confiables son los resultados obtenidos y en qué medida pueden generalizarse a toda la audiencia.

Por ejemplo, si medimos la diferencia en la conversión entre dos variantes y obtenemos un intervalo de confianza del 95% desde el 1% hasta el 5%, esto significa que con una probabilidad del 95%, la mejora real en la conversión se encuentra en este rango. Si el intervalo incluye 0, puede que no exista una diferencia estadísticamente significativa.