Co je to mismatch poměru vzorků?

Neshoda poměru vzorku (SRM) je situace v A/B testování, kdy se skutečné rozdělení uživatelů mezi variantami testu výrazně liší od plánovaného (například 50/50).

Příčiny SRM mohou být spojeny s chybami v nastavení experimentu, problémy s sledováním, chybami v kódu nebo vnějšími faktory ovlivňujícími vzorek.

Proč je to důležité:

• SRM naznačuje porušení náhodného rozdělení, což může vést k zkresleným a nespolehlivým výsledkům testu.
• Při zjištění SRM je třeba zkontrolovat správnost implementace testu a případně zastavit analýzu do doby odstranění problému.