Čo je to mismatch pomeru vzoriek?

Nesúlad medzi pomerom vzorky (SRM) je situácia v A/B testovaní, keď sa skutočné rozdelenie používateľov medzi variantami testu významne líši od plánovaného (napríklad 50/50).

Príčiny SRM môžu byť spojené s chybami v nastavení experimentu, problémami s sledovaním, chybami v kóde alebo vonkajšími faktormi ovplyvňujúcimi vzorku.

Prečo je to dôležité:

• SRM naznačuje porušenie náhodného rozdelenia, čo môže viesť k skresleným a nespoľahlivým výsledkom testu.
• Pri zistení SRM je potrebné skontrolovať správnosť implementácie testu a prípadne zastaviť analýzu do doby vyriešenia problému.