Was ist die statistische Power?

Die statistische Power ist die Wahrscheinlichkeit, die Nullhypothese korrekt abzulehnen, wenn die alternative Hypothese wahr ist, also die Wahrscheinlichkeit, einen echten Effekt in den Daten zu erkennen. Im Kontext von A/B-Tests bedeutet eine hohe statistische Power, dass der Test in der Lage ist, signifikante Unterschiede zwischen den Varianten zu erkennen, wenn sie tatsächlich vorhanden sind. Eine niedrige Power erhöht das Risiko eines Fehlers vom Typ II — das Nicht-Erkennen eines bestehenden Unterschieds. Um die Power zu erhöhen, kann man die Stichprobengröße vergrößern, die Variabilität der Daten verringern oder den Effekt, den man zu erkennen versucht, erhöhen.