Was ist ein Konfidenzintervall?

Das Konfidenzintervall (confidence interval) ist ein Wertebereich, der mit einer bestimmten Wahrscheinlichkeit (z.B. 95%) den wahren Wert des Parameters in der Grundgesamtheit enthält. Im Kontext von A/B-Tests hilft es, die Zuverlässigkeit der erzielten Ergebnisse zu bewerten und wie gut sie auf die gesamte Zielgruppe verallgemeinert werden können.

Zum Beispiel, wenn wir die Differenz in der Conversion zwischen zwei Varianten messen und ein 95%-Konfidenzintervall von 1% bis 5% erhalten, bedeutet dies, dass mit 95% Wahrscheinlichkeit die tatsächliche Verbesserung der Conversion in diesem Bereich liegt. Wenn das Intervall 0 einschließt, könnte es keinen statistisch signifikanten Unterschied geben.