O que é o CUPED e como ele reduz a variância?

CUPED (Experimento controlado usando dados pré-experimento) é um método de redução de variância em testes A/B e experimentos, que utiliza dados coletados antes do início do experimento para controlar as variações.

A ideia é que os usuários tenham métricas pré-experimentais (por exemplo, comportamento antes do lançamento do teste), que estão correlacionadas com a métrica alvo. Usando esses dados, é possível ajustar os resultados, reduzir o ruído e aumentar o poder estatístico do teste.

Como funciona:

1. Uma métrica pré-experimental (covariável) é coletada, por exemplo, a média de compras por semana antes do teste.
2. Uma métrica ajustada é calculada para cada usuário, subtraindo a influência da métrica pré-experimental.
3. A métrica ajustada é analisada, o que reduz a variância e permite detectar efeitos com menos usuários.

Exemplo de fórmula:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

onde:

• (Y_i) é a métrica observada no experimento para o usuário i
• (X_i) é a métrica pré-experimental
• (\bar{X}) é a média da métrica pré-experimental
• (\theta) é o coeficiente de regressão entre (Y) e (X)

Dessa forma, o CUPED ajuda a melhorar a precisão da estimativa do efeito do experimento, reduzindo a influência de flutuações aleatórias e aprimorando a qualidade das conclusões.