¿Cómo calcular el tamaño de muestra para una prueba A/B?

Para calcular el tamaño de la muestra en una prueba A/B, es necesario tener en cuenta varios parámetros:

1. Tasa de conversión base (baseline conversion rate) — el nivel actual de la métrica que deseas mejorar.
2. Diferencia mínimamente detectable (minimum detectable effect, MDE) — el efecto mínimo que deseas detectar.
3. Nivel de significancia (alpha) — la probabilidad de rechazar incorrectamente la hipótesis nula (generalmente 0.05).
4. Potencia de la prueba (power, 1 - beta) — la probabilidad de detectar un efecto si existe (generalmente 0.8 o 0.9).

Fórmula para calcular aproximadamente el tamaño de la muestra para cada grupo (A y B) en una métrica binaria:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

donde:

• (p) — tasa de conversión base,
• (d) — diferencia mínima detectable (MDE),
• (Z_{1-\alpha/2}) y (Z_{1-\beta}) — valores de los cuantiles de la distribución normal para los niveles de significancia y potencia establecidos.

Ejemplo: si la tasa de conversión base es del 10% (0.1), MDE del 2% (0.02), alpha=0.05, potencia=0.8, entonces, usando tablas o funciones de distribución, se puede obtener el tamaño de muestra necesario.

En la práctica, a menudo se utilizan bibliotecas o calculadoras en línea para un cálculo preciso, considerando el tipo de métrica (conversión, valor medio, etc.).