¿Qué es CUPED y cómo reduce la varianza?

CUPED (Experimento controlado usando datos pre-experimento) es un método para reducir la varianza en pruebas A/B y experimentos, que utiliza datos recopilados antes del inicio del experimento para controlar las variaciones.

La idea es que los usuarios tienen métricas pre-experimentales (por ejemplo, comportamiento antes de lanzar la prueba), que están correlacionadas con la métrica objetivo. Usando estos datos, se puede ajustar los resultados, reduciendo el ruido y aumentando la potencia estadística de la prueba.

Cómo funciona:

1. Se recopila una métrica pre-experimental (covariable), por ejemplo, el promedio de compras en una semana antes de la prueba.
2. Se calcula una métrica ajustada para cada usuario, restando la influencia de la métrica pre-experimental.
3. Se analiza la métrica ajustada, lo que reduce la varianza y permite detectar efectos con menos usuarios.

Ejemplo de fórmula:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

donde:

• (Y_i) es la métrica observada en el experimento para el usuario i
• (X_i) es la métrica pre-experimental
• (\bar{X}) es la media de la métrica pre-experimental
• (\theta) es el coeficiente de regresión entre (Y) y (X)

De esta manera, CUPED ayuda a mejorar la precisión de la estimación del efecto del experimento, reduciendo la influencia de fluctuaciones aleatorias y mejorando la calidad de las conclusiones.