Čo je to interval spoľahlivosti?

Interval spoľahlivosti (confidence interval) je rozsah hodnôt, ktorý s danou pravdepodobnosťou (napríklad 95%) obsahuje skutočnú hodnotu parametra v celej populácii. V kontexte A/B testov pomáha odhadnúť, ako sú získané výsledky spoľahlivé a do akej miery ich možno generalizovať na celú skupinu.

Napríklad, ak meráme rozdiel v konverzii medzi dvoma variantmi a získame 95% interval spoľahlivosti od 1% do 5%, znamená to, že s pravdepodobnosťou 95% je skutočné zlepšenie konverzie v tomto rozsahu. Ak interval zahŕňa 0, môže ísť o neznačajnú štatistickú odchýlku.