Mis on sample ratio mismatch?

Sample Ratio Mismatch (SRM) on olukord A/B-testides, kus testimise variantide vahel kasutajate tegelik jaotus erine oluliselt planeeritust (näiteks 50/50).

SRM-i põhjused võivad olla seotud eksperimentide seadistamise vigade, jälgimisprobleemide, koodivigade või väliste teguritega, mis mõjutavad valimit.

Miks see on oluline:

• SRM näitab juhusliku jaotuse rikkumist, mis võib viia kallutatud ja ebausaldusväärsete testitulemusteni.
• Kui SRM-d avastatakse, tuleb kontrollida testi rakendamise õigsust ning vajadusel peatada analüüs kuni probleemi lahendamiseni.