Co je to interval spolehlivosti?

Interval spolehlivosti (confidence interval) je rozmezí hodnot, které s danou pravděpodobností (například 95%) obsahuje skutečnou hodnotu parametru v celkové populaci. V kontextu A/B testů pomáhá odhadnout, jak jsou získané výsledky spolehlivé a do jaké míry je možné je zobecnit na celou cílovou skupinu.

Například pokud změříme rozdíl v konverzi mezi dvěma variantami a získáme 95% interval spolehlivosti od 1% do 5%, znamená to, že s pravděpodobností 95% je skutečné zlepšení konverze v tomto rozmezí. Pokud interval zahrnuje 0, může být rozdíl statisticky nevýznamný.