Kas ir sample ratio mismatch?

Parauga attiecības neatbilstība (SRM) ir situācija A/B testos, kad faktiskā lietotāju sadalījums starp testa variantiem būtiski atšķiras no plānotā (piemēram, 50/50).

SRM cēloņi var būt saistīti ar eksperimenta iestatīšanas kļūdām, sekošanas problēmām, koda kļūdām vai ārējiem faktoriem, kas ietekmē paraugu.

Kāpēc tas ir svarīgi:

• SRM norāda uz nejaušas sadalījuma pārkāpumu, kas var novest pie novirzītiem un neuzticamiem testa rezultātiem.
• Atklājot SRM, jāveic testa īstenošanas korektuma pārbaude un, ja nepieciešams, analīzi jāpārtrauc līdz problēmas novēršanai.