Что такое SRM (Sample Ratio Mismatch)?

SRM (Sample Ratio Mismatch) — это ситуация в A/B-тестировании, когда фактическое распределение пользователей по экспериментальным группам существенно отличается от запланированного. Например, если тест должен распределять пользователей 50/50, а в итоге одна группа получает 70% трафика, это указывает на SRM.

SRM сигнализирует о проблемах с рандомизацией или технических ошибках в системе распределения трафика, что может привести к искажению результатов эксперимента.

Для обнаружения SRM обычно применяют статистические тесты (например, хи-квадрат) для проверки соответствия фактического распределения ожидаемому. Если SRM выявлен, эксперимент стоит приостановить и разобраться с причиной, прежде чем делать выводы.