Was ist statistische Signifikanz?

Die statistische Signifikanz ist ein Maß dafür, wie sehr die Ergebnisse eines Experiments (z.B. A/B-Test) von zufälligen Schwankungen abweichen und als zuverlässig gelten können.

Wenn das Ergebnis statistisch signifikant ist, bedeutet dies, dass die Wahrscheinlichkeit, solche Daten zufällig zu erhalten, sehr gering ist (in der Regel weniger als 5%). Dies hilft bei der Entscheidung, ob die Änderung tatsächlich die Metrik beeinflusst oder nur zufälliges Rauschen ist.

Zum Beispiel, wenn bei einem A/B-Test die Conversion im B-Gruppe höher ist und der p-Wert kleiner als 0,05 ist, kann man mit Sicherheit sagen, dass die Verbesserung kein Zufall ist.