O que é um intervalo de confiança?

O intervalo de confiança (confidence interval) é um intervalo de valores que, com uma probabilidade dada (por exemplo, 95%), contém o valor verdadeiro do parâmetro na população geral. No contexto de testes A/B, ajuda a avaliar quão confiáveis são os resultados obtidos e até que ponto podem ser generalizados para toda a audiência.

Por exemplo, se medirmos a diferença na conversão entre duas variantes e obtivermos um intervalo de confiança de 95% de 1% a 5%, isso significa que, com uma probabilidade de 95%, a melhoria real na conversão está nesse intervalo. Se o intervalo incluir 0, pode não haver diferença estatisticamente significativa.