Šta je mismatch odnosa uzoraka?

Neshoda u odnosu uzorka (SRM) je situacija u A/B testovima gde se stvarna raspodela korisnika između varijanti testa značajno razlikuje od planirane (npr. 50/50).

Razlozi SRM mogu biti povezani sa greškama u podešavanju eksperimenta, problemima sa praćenjem, bagovima u kodu ili spoljnim faktorima koji utiču na uzorak.

Zašto je važno:

• SRM ukazuje na kršenje slučajne raspodele, što može dovesti do iskrivljenih i nepouzdanih rezultata testa.
• Kada se otkrije SRM, potrebno je proveriti tačnost implementacije testa i, ako je potrebno, zaustaviti analizu dok se problem ne reši.