Como determinar que a métrica de conversão aumentou exatamente 10%, e não 9% ou 3%?

Para determinar que a métrica de conversão aumentou exatamente 10%, e não 9% ou 3%, é necessário realizar uma análise estatística das mudanças. É importante considerar:

• Precisão das medições: garantir que os dados estejam corretos e coletados da mesma forma.
• Significância estatística: aplicar testes (por exemplo, teste z ou teste t) para verificar se a diferença não é casual.
• Intervalos de confiança: calcular um intervalo no qual, com uma determinada probabilidade, se encontra o valor real da mudança.

Se o aumento de 10% estiver fora do intervalo de confiança para os valores anteriores e for estatisticamente significativo, pode-se afirmar que o aumento é exatamente de 10%. Caso contrário, a diferença pode ser causada por ruído ou flutuações aleatórias nos dados.

Exemplo: se a conversão era de 5% e após as mudanças passou a ser 5,5%, então o aumento é de 10%. É necessário verificar se essa diferença excede a margem de erro da medição e o erro estatístico.