Какво е mismatch на съотношението на пробите?

Несъответствие в съотношението на пробите (SRM) е ситуация в A/B тестове, когато реалното разпределение на потребителите между варианта на теста значително се различава от планираното (например, 50/50).

Причините за SRM могат да бъдат свързани с грешки в настройката на експеримента, проблеми със следенето, бъгове в кода или външни фактори, влияещи върху извадката.

Защо е важно:

• SRM показва нарушение на случайното разпределение, което може да доведе до изкривени и ненадеждни резултати от теста.
• При откриване на SRM трябва да се провери коректността на реализирането на теста и, ако е необходимо, да се спре анализът до отстраняване на проблема.