Mis on usaldusinterval?

Usaldusvahemik (confidence interval) on väärtuste vahemik, mis teatud tõenäosusega (näiteks 95%) sisaldab üldpopulatsioonis oleva parameetri tõelist väärtust. A/B-testide kontekstis aitab see hinnata saadud tulemuste usaldusväärsust ja seda, kui palju saab neid üldistada kogu sihtrühmale.

Näiteks, kui mõõdame kahe variandi konversioonide erinevust ja saame 95% usaldusvahemiku 1% kuni 5%, tähendab see, et 95% tõenäosusega asub tõeline konversiooni paranemine selles vahemikus. Kui vahemik hõlmab 0, võib olla, et statistiliselt olulist erinevust ei ole.