Ce este un interval de încredere?

Intervalul de încredere (confidence interval) este un interval de valori care, cu o anumită probabilitate (de exemplu, 95%), conține valoarea adevărată a parametrului în populația generală. În contextul testelor A/B, ajută la evaluarea cât de fiabile sunt rezultatele obținute și în ce măsură pot fi generalizate pentru întreaga audiență.

De exemplu, dacă măsurăm diferența în conversie între două variante și obținem un interval de încredere de 95% de la 1% la 5%, înseamnă că, cu o probabilitate de 95%, îmbunătățirea reală a conversiei se află în acest interval. Dacă intervalul include 0, este posibil să nu existe o diferență statistic semnificativă.