Czym jest przedział ufności?

Przedział ufności (confidence interval) to zakres wartości, który z określonym prawdopodobieństwem (np. 95%) zawiera prawdziwą wartość parametru w populacji ogólnej. W kontekście testów A/B pomaga ocenić, jak wiarygodne są uzyskane wyniki i na ile można je uogólnić na całą grupę odbiorców.

Na przykład, jeśli mierzymy różnicę w konwersji między dwoma wariantami i uzyskujemy 95% przedział ufności od 1% do 5%, oznacza to, że z prawdopodobieństwem 95% rzeczywista poprawa konwersji mieści się w tym zakresie. Jeśli przedział obejmuje 0, może nie być statystycznie istotnej różnicy.