O que é SRM (Desajuste na Proporção de Amostras)?

SRM (Desajuste na Proporção de Amostras) é uma situação em testes A/B onde a distribuição real de utilizadores pelos grupos experimentais difere significativamente da planeada. Por exemplo, se um teste deve distribuir utilizadores 50/50, mas no final um grupo recebe 70% do tráfego, isso indica um SRM.

O SRM sinaliza problemas com a aleatorização ou erros técnicos no sistema de distribuição de tráfego, o que pode distorcer os resultados do experimento.

Para detectar o SRM, normalmente são utilizados testes estatísticos (por exemplo, chi-quadrado) para verificar se a distribuição real corresponde à esperada. Se o SRM for detectado, o experimento deve ser suspenso e a causa analisada antes de tirar conclusões.