Czym jest mismatch stosunku próbek?

Niezgodność proporcji próbki (SRM) to sytuacja w testach A/B, gdy faktyczne rozłożenie użytkowników na warianty testu znacznie różni się od planowanego (np. 50/50).

Przyczyny SRM mogą być związane z błędami w konfiguracji eksperymentu, problemami z śledzeniem, błędami w kodzie lub czynnikami zewnętrznymi wpływającymi na próbkę.

Dlaczego to jest ważne:

• SRM wskazuje na naruszenie losowego rozkładu, co może prowadzić do zniekształconych i niepewnych wyników testu.
• Po wykryciu SRM należy sprawdzić poprawność realizacji testu i ewentualnie zatrzymać analizę do czasu rozwiązania problemu.

Do wykrywania SRM zwykle używa się testów statystycznych (np. test chi-kwadrat), aby sprawdzić zgodność faktycznego rozkładu z oczekiwanym.