Что такое sample ratio mismatch?

Sample Ratio Mismatch (SRM) — это ситуация в A/B-тестировании, когда фактическое распределение пользователей по вариантам теста существенно отличается от запланированного (например, 50/50).

Причины SRM могут быть связаны с ошибками в настройке эксперимента, проблемами с трекингом, багами в коде, или внешними факторами, влияющими на выборку.

Почему это важно:

• SRM указывает на нарушение случайного распределения, что может привести к смещённым и недостоверным результатам теста.
• При обнаружении SRM нужно проверить корректность реализации теста и, возможно, остановить анализ до устранения проблемы.

Для обнаружения SRM обычно используют статистические тесты (например, хи-квадрат) для проверки соответствия фактического распределения ожидаемому.