Como calcular o tamanho da amostra para um teste A/B?

Para calcular o tamanho da amostra numa prova A/B, é necessário considerar vários parâmetros:

1. Taxa de conversão base (baseline conversion rate) — o nível atual da métrica que deseja melhorar.
2. Diferença mínima detectável (minimum detectable effect, MDE) — o efeito mínimo que deseja detectar.
3. Nível de significância (alpha) — a probabilidade de rejeitar incorretamente a hipótese nula (geralmente 0,05).
4. Potência do teste (power, 1 - beta) — a probabilidade de detectar um efeito se existir (geralmente 0,8 ou 0,9).

Fórmula para calcular aproximadamente o tamanho da amostra para cada grupo (A e B) com uma métrica binária:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

onde:

• (p) — taxa de conversão base,
• (d) — efeito mínimo detectável (MDE),
• (Z_{1-\alpha/2}) e (Z_{1-\beta}) — valores dos quantis da distribuição normal para os níveis de significância e potência definidos.

Exemplo: se a taxa de conversão base for 10% (0,1), MDE de 2% (0,02), alpha=0,05, power=0,8, então, usando tabelas ou funções de distribuição, pode-se obter o tamanho de amostra necessário.

Na prática, muitas vezes utilizam-se bibliotecas ou calculadoras online para um cálculo preciso, considerando o tipo de métrica (conversão, média, etc.).