Шта је интервал поверења?

Интервал поверења (confidence interval) је опсег вредности који, са одређеном вероватноћом (на пример, 95%), садржи истинску вредност параметра у генералној популацији. У контексту A/B тестова, он помаже да се процени колико су резултати поуздани и у којој мери се могу генерализовати на целу публику.

На пример, ако меримо разлику у конверзији између две варијанте и добијемо 95% интервал поверења од 1% до 5%, то значи да је, са 95% вероватноћом, стварно побољшање конверзије у овом опсегу. Ако интервал укључује 0, можда нема статистички значајне разлике.