Qu'est-ce que le CUPED et comment réduit-il la variance?

CUPED (Expérience contrôlée utilisant des données pré-expérience) est une méthode de réduction de la variance dans les tests A/B et les expériences, qui utilise des données recueillies avant le début de l’expérience pour contrôler les variations.

L’idée est que les utilisateurs ont des métriques pré-expérience (par exemple, le comportement avant le lancement du test), qui sont corrélées avec la métrique cible. En utilisant ces données, on peut ajuster les résultats, réduire le bruit et augmenter la puissance statistique du test.

Comment cela fonctionne :

1. Une métrique pré-expérience (covariable) est recueillie, par exemple, le nombre moyen d’achats par semaine avant le test.
2. Une métrique ajustée est calculée pour chaque utilisateur, en soustrayant l’impact de la métrique pré-expérience.
3. La métrique ajustée est analysée, ce qui réduit la variance et permet de détecter des effets avec moins d’utilisateurs.

Exemple de formule :

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

où :

• (Y_i) est la métrique observée dans l’expérience pour l’utilisateur i
• (X_i) est la métrique pré-expérience
• (\bar{X}) est la moyenne de la métrique pré-expérience
• (\theta) est le coefficient de régression entre (Y) et (X)

Ainsi, CUPED aide à améliorer la précision de l’estimation de l’effet de l’expérience, en réduisant l’impact des fluctuations aléatoires et en améliorant la qualité des conclusions.