Kas ir SRM (Paraugu attiecības neatbilstība)?

SRM (Parauga attiecības neatbilstība) — tas ir stāvoklis A/B testēšanā, kad faktiskā lietotāju sadalījuma starp eksperimentālajām grupām būtiski atšķiras no plānotā. Piemēram, ja tests ir paredzēts sadalīt lietotājus 50/50, bet galīgais sadalījums ir tāds, ka viena grupa saņem 70% trafika, tas norāda uz SRM.

SRM signalizē par problēmām ar nejaušības vai tehniskām kļūdām trafika sadales sistēmā, kas var izkropļot eksperimenta rezultātus.

SRM noteikšanai parasti izmanto statistiskos testus (piemēram, chi-kvadrāta testu), lai pārbaudītu, vai faktiskā sadalījuma atbilstība ir gaidītajai. Ja tiek konstatēts SRM, eksperiments jāaptur un jāizpēta iemesli pirms secinājumu izdarīšanas.