Cos'è CUPED e come riduce la varianza?

CUPED (Esperimento controllato usando dati pre-esperimento) è un metodo per ridurre la varianza nei test A/B e negli esperimenti, che utilizza i dati raccolti prima dell'inizio dell'esperimento per controllare le variazioni.

L'idea è che gli utenti abbiano metriche pre-esperimento (ad esempio, comportamento prima del lancio del test), che sono correlate con la metrica obiettivo. Utilizzando questi dati, è possibile correggere i risultati, ridurre il rumore e aumentare la potenza statistica del test.

Come funziona:

1. Si raccoglie una metrica pre-esperimento (covariata), ad esempio, il numero medio di acquisti a settimana prima del test.
2. Per ogni utente, si calcola una metrica corretta sottraendo l'influenza della metrica pre-esperimento.
3. Si analizza la metrica corretta, che riduce la varianza e permette di rilevare effetti con meno utenti.

Esempio di formula:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

dove:

• (Y_i) è la metrica osservata nell'esperimento per l'utente i
• (X_i) è la metrica pre-esperimento
• (\bar{X}) è la media della metrica pre-esperimento
• (\theta) è il coefficiente di regressione tra (Y) e (X)

In questo modo, CUPED aiuta a migliorare la precisione della stima dell'effetto dell'esperimento, riducendo l'influenza delle fluttuazioni casuali e migliorando la qualità delle conclusioni.