Čo je SRM (Nesúlad medzi pomerom vzoriek)?

SRM (Nezhoda v pomere vzorca) — je situácia v A/B testovaní, keď sa skutočné rozdelenie používateľov do experimentálnych skupín významne líši od plánovaného. Napríklad, ak test má rozdeľovať používateľov pomerom 50/50, ale nakoniec jedna skupina dostane 70% prevádzky, naznačuje to SRM.

SRM signalizuje problémy s náhodnosťou alebo technické chyby v systéme rozdeľovania prevádzky, čo môže skresliť výsledky experimentu.

Na detekciu SRM sa zvyčajne používajú štatistické testy (napríklad chí-kvadrát), aby sa overilo, či skutočné rozdelenie zodpovedá očakávanému. Ak je SRM zistené, experiment treba pozastaviť a analyzovať príčinu pred vyvodením záverov.