Wat is sample ratio mismatch?

Sample Ratio Mismatch (SRM) is een situatie bij A/B-testen waarbij de feitelijke verdeling van gebruikers over de testvarianten aanzienlijk afwijkt van de geplande verdeling (bijvoorbeeld 50/50).

De oorzaken van SRM kunnen gerelateerd zijn aan fouten in de opzet van het experiment, trackingproblemen, bugs in de code of externe factoren die de steekproef beïnvloeden.

Waarom is dit belangrijk:

• SRM wijst op een schending van de willekeurige verdeling, wat kan leiden tot vertekende en onbetrouwbare testresultaten.
• Bij het detecteren van SRM moet de correctheid van de testimplementatie worden gecontroleerd en mogelijk de analyse worden stopgezet totdat het probleem is opgelost.

Voor het detecteren van SRM worden meestal statistische tests (bijvoorbeeld de chi-kwadraat test) gebruikt om de overeenstemming van de feitelijke verdeling met de verwachte verdeling te controleren.