O que fazer se o teste mostrou um resultado zero?

Se o teste A/B mostrou um resultado nulo (ou seja, não há diferença estatisticamente significativa entre as variantes), recomenda-se:

• Verificar a correção da realização do teste: a adequação da amostra, a duração do teste, as métricas.
• Avaliar se o teste foi suficientemente potente (análise de potência) para detectar um efeito.
• Analisar a hipótese: talvez as mudanças realmente não afetem o comportamento dos usuários.
• Considerar realizar testes adicionais com outras alterações ou em outros segmentos de audiência.
• Utilizar os dados obtidos para tomar decisões — a ausência de efeito também é uma informação importante.

Portanto, um resultado nulo não é uma falha, mas uma informação para ações futuras e melhorias.