O que é a discrepância na proporção de amostras?

Desigualdade na Proporção de Amostras (SRM) é uma situação em testes A/B onde a distribuição real de utilizadores entre as variantes do teste difere significativamente da prevista (por exemplo, 50/50).

As causas do SRM podem estar relacionadas com erros na configuração do experimento, problemas de rastreamento, bugs no código ou fatores externos que influenciam a amostra.

Porque isto é importante:

• O SRM indica uma violação da distribuição aleatória, o que pode levar a resultados enviesados e pouco confiáveis.
• Quando se detecta SRM, deve-se verificar a correção na implementação do teste e, possivelmente, interromper a análise até resolver o problema.

Para detectar o SRM, geralmente utilizam-se testes estatísticos (por exemplo, o teste do qui-quadrado) para verificar a conformidade da distribuição real com a esperada.