Kas yra sample ratio mismatch?

Pavyzdžio santykio neatitikimas (SRM) yra situacija A/B testuose, kai faktinis naudotojų paskirstymas tarp testavimo variantų žymiai skiriasi nuo planuoto (pavyzdžiui, 50/50).

SRM priežastys gali būti susijusios su eksperimentinio nustatymo klaidomis, sekimo problemomis, kodo klaidomis arba išoriniais veiksniais, darančiais įtaką imčiai.

Kodėl tai svarbu:

• SRM rodo atsitiktinio paskirstymo pažeidimą, kuris gali sukelti iškraipytus ir nepatikimus testo rezultatus.
• Kai aptinkamas SRM, būtina patikrinti testo įgyvendinimo teisingumą ir, jei reikia, sustabdyti analizę iki problemos išsprendimo.