O que é o poder estatístico?

O poder estatístico é a probabilidade de rejeitar corretamente a hipótese nula quando a hipótese alternativa é verdadeira, ou seja, a probabilidade de detectar um efeito real nos dados. No contexto de testes A/B, um alto poder estatístico significa que o teste é capaz de identificar diferenças significativas entre as variantes, se elas realmente existirem. Baixa potência aumenta o risco de erro do tipo II — não perceber uma diferença existente. Para aumentar o poder, pode-se aumentar o tamanho da amostra, reduzir a variabilidade dos dados ou aumentar o efeito que se tenta detectar.