Mi az a konfidencia intervallum?

A megbízhatósági intervallum (confidence interval) egy olyan értéktartomány, amely adott valószínűséggel (például 95%) tartalmazza a populációban lévő paraméter valódi értékét. Az A/B tesztek kontextusában segít értékelni az eredmények megbízhatóságát és azt, hogy mennyire általánosíthatók az egész közönségre.

Például, ha mérjük két változat közötti konverziós különbséget, és 95%-os megbízhatósági intervallumot kapunk 1%-tól 5%-ig, ez azt jelenti, hogy 95% valószínűséggel a valódi konverziós javulás ebben a tartományban van. Ha az intervallum tartalmazza a 0-t, akkor lehet, hogy nincs statisztikailag szignifikáns különbség.