Cos'è un intervallo di confidenza?

L’intervallo di confidenza (confidence interval) è un intervallo di valori che, con una probabilità data (ad esempio, il 95%), contiene il vero valore del parametro nella popolazione generale. Nel contesto dei test A/B, aiuta a valutare quanto siano affidabili i risultati ottenuti e in che misura possano essere generalizzati all’intera audience.

Ad esempio, se misuriamo la differenza nella conversione tra due varianti e otteniamo un intervallo di confidenza del 95% da 1% a 5%, ciò significa che con una probabilità del 95%, il miglioramento reale della conversione si trova in questo intervallo. Se l’intervallo include 0, potrebbe non esserci una differenza statisticamente significativa.