Mis on SRM (Proovi suhe ebatõenäosus)?

SRM (Proovi suheline sobivususe) — see on olukord A/B testides, kus kasutajate tegelik jaotus eksperimentaalsetesse gruppidesse erineb oluliselt planeeritust. Näiteks, kui test peaks jaotama kasutajad 50/50, kuid lõpuks saab üks grupp 70% liiklusest, näitab see SRM-i.

SRM näitab probleeme juhuslikkuse või tehniliste vigadega liikluse jaotussüsteemis, mis võib tulemusi moonutada.

SRM-i tuvastamiseks kasutatakse tavaliselt statistilisi teste (näiteks chi-ruut test), et kontrollida, kas tegelik jaotus vastab ootustele. Kui SRM tuvastatakse, tuleb eksperiment peatada ja põhjust uurida enne järelduste tegemist.