O que é o poder do teste e como garantí-lo?

A potência do teste estatístico (potência estatística) é a probabilidade de rejeitar corretamente a hipótese nula quando a hipótese alternativa é verdadeira, ou seja, a probabilidade de detectar um efeito se ele realmente existir.

Para garantir uma alta potência do teste, deve-se:

• Aumentar o tamanho da amostra — mais dados aumentam a precisão da estimativa e reduzem a probabilidade de erro do tipo II (falso negativo).
• Reduzir a variabilidade dos dados — usar medições mais precisas, controlar fatores externos.
• Escolher um nível de significância adequado (α) — equilíbrio entre erros do tipo I e II.
• Utilizar métodos estatísticos poderosos — por exemplo, testes mais sensíveis.

No contexto de testes A/B, isso significa planejar um volume de tráfego e uma duração de experimento suficientes para identificar com alta probabilidade diferenças reais entre as variantes.