Ce este SRM (Discrepanța în Raportul de Mostre)?

SRM (Incompatibilitatea raportului de eșantionare) — este o situație în testele A/B în care distribuția reală a utilizatorilor în grupurile experimentale diferă semnificativ de cea planificată. De exemplu, dacă un test trebuie să distribuie utilizatorii 50/50, dar în final un grup primește 70% din trafic, acest lucru indică SRM.

SRM semnalează probleme cu randomizarea sau erori tehnice în sistemul de distribuție a traficului, ceea ce poate distorsiona rezultatele experimentului.

Pentru detectarea SRM, se folosesc de obicei teste statistice (de exemplu, testul chi-pătrat) pentru a verifica dacă distribuția reală corespunde celei așteptate. Dacă se identifică SRM, experimentul trebuie oprit și cauza trebuie investigată înainte de a trage concluzii.