Nümunə nisbət uyğunsuzluğu nədir?

Nümunə nisbətinin uyğunsuzluğu (SRM) — bu A/B-testlərdə, test variantları arasında istifadəçilərin faktiki paylanmasının planlaşdırılmış (məsələn, 50/50) ilə əhəmiyyətli dərəcədə fərqli olduğu vəziyyətdir.

SRM-nin səbəbləri eksperimentin quruluşunda səhvlər, izləmə problemləri, kodda səhvlər və ya nümunəyə təsir edən xarici amillərlə əlaqəli ola bilər.

Niyə vacibdir:

• SRM təsadüfi paylanmanın pozulmasını göstərir və bu, testin nəticələrinin yanlı və etibarsız olmasına səbəb ola bilər.
• SRM aşkarlandıqda, testin düzgünlüyünü yoxlamaq və problemi həll edənə qədər analizi dayandırmaq lazımdır.

SRM-ni aşkar etmək üçün adətən statistik testlər (məsələn, chi-kvadrat testi) istifadə olunur, bu da faktiki paylanmanın gözlənilənlə uyğunluğunu yoxlamaq üçün.