Was ist Sample Ratio Mismatch?

Sample Ratio Mismatch (SRM) ist eine Situation bei A/B-Tests, bei der die tatsächliche Verteilung der Nutzer auf die Testvarianten erheblich von der geplanten (z.B. 50/50) abweicht.

Ursachen für SRM können in Fehlern bei der Einrichtung des Experiments, Problemen mit dem Tracking, Bugs im Code oder externen Faktoren liegen, die die Stichprobe beeinflussen.

Warum das wichtig ist:

• SRM weist auf eine Verletzung der Zufallsverteilung hin, was zu verzerrten und unzuverlässigen Testergebnissen führen kann.
• Bei der Erkennung von SRM sollte die Korrektheit der Testimplementierung überprüft und die Analyse möglicherweise gestoppt werden, bis das Problem behoben ist.

Zur Erkennung von SRM werden in der Regel statistische Tests (z.B. Chi-Quadrat-Test) verwendet, um die Übereinstimmung der tatsächlichen Verteilung mit der erwarteten zu prüfen.