Kas yra pasitikėjimo intervalas?

Pasitikėjimo intervalas (confidence interval) yra reikšmių diapazonas, kuris su tam tikra tikimybe (pavyzdžiui, 95%) apima tikrąjį parametro reikšmę bendrojoje populiacijoje. A/B testų kontekste jis padeda įvertinti gautų rezultatų patikimumą ir tai, kiek jie gali būti bendrinami visai auditorijai.

Pavyzdžiui, jei matuojame dviejų variantų konversijos skirtumą ir gauname 95% pasitikėjimo intervalą nuo 1% iki 5%, tai reiškia, kad 95% tikimybe tikroji konversijos gerėjimo reikšmė yra šiame diapazone. Jei intervalas apima 0, gali būti, kad statistiškai reikšmingo skirtumo nėra.