Wat is een betrouwbaarheidsinterval?

Het betrouwbaarheidsinterval (confidence interval) is een bereik van waarden dat, met een bepaalde waarschijnlijkheid (bijvoorbeeld 95%), de werkelijke waarde van de parameter in de populatie bevat. In de context van A/B-testen helpt het om te beoordelen hoe betrouwbaar de verkregen resultaten zijn en in hoeverre ze kunnen worden gegeneraliseerd naar de hele doelgroep.

Bijvoorbeeld, als we het verschil in conversie tussen twee varianten meten en een 95% betrouwbaarheidsinterval van 1% tot 5% krijgen, betekent dit dat met 95% waarschijnlijk de werkelijke verbetering in conversie binnen dit bereik ligt. Als het interval 0 bevat, kan er geen statistisch significant verschil zijn.