Sample ratio mismatch nedir?

Örnek Oranı Uyumsuzluğu (SRM), A/B testlerinde, test varyantları arasındaki kullanıcıların gerçek dağılımının planlanan (örneğin, 50/50) önemli ölçüde farklı olduğu bir durumdur.

SRM'nin nedenleri, deneyin ayarlarında hatalar, takip sorunları, kod hataları veya örneği etkileyen dış faktörlerle ilgili olabilir.

Neden önemlidir:

• SRM, rastgele dağılımın ihlal edildiğine işaret eder ve bu da önyargılı ve güvenilir olmayan test sonuçlarına yol açabilir.
• SRM tespit edildiğinde, testin uygulanmasının doğruluğunu kontrol etmek ve sorunu çözene kadar analizi durdurmak gerekebilir.

SRM'yi tespit etmek için genellikle istatistiksel testler (örneğin, ki-kare testi) kullanılır, böylece gerçek dağılımın beklenenle uyumu kontrol edilir.