O que é a paradoxo de Simpson em testes A/B?

O paradoxo de Simpson é um fenómeno estatístico em que uma tendência observada em vários grupos de dados desaparece ou muda de direção ao combinar esses grupos. No contexto de testes A/B, isso pode levar a conclusões incorretas se não se considerar os subgrupos de utilizadores.

Por exemplo, num teste A/B, duas versões de um site podem mostrar resultados diferentes em diferentes segmentos de utilizadores (por exemplo, por idade ou região). Em cada grupo, a versão A pode ser melhor, mas ao combinar todos os dados, a versão B parece ser melhor devido às diferenças na distribuição dos utilizadores pelos grupos.

Para evitar o paradoxo de Simpson, é importante analisar os resultados não apenas no geral, mas também por segmentos-chave, e usar análise estratificada.