Какво е SRM (Несъответствие в съотношението на пробите)?

SRM (Несъответствие в съотношението на пробите) — това е ситуация в A/B тестове, когато реалното разпределение на потребителите по експерименталните групи значително се различава от планираното. Например, ако тестът трябва да разпределя потребителите 50/50, а в крайна сметка една група получава 70% трафик, това показва SRM.

SRM сигнализира за проблеми с рандомизацията или технически грешки в системата за разпределение на трафика, което може да изкриви резултатите от експеримента.

За откриване на SRM обикновено се прилагат статистически тестове (например, хи-квадрат), за да се провери дали реалното разпределение съответства на очакваното. Ако бъде открит SRM, експериментът трябва да бъде спряно и да се анализира причината, преди да се правят изводи.