Wat is CUPED en hoe vermindert het de variantie?

CUPED (Controlled-experiment Using Pre-Experiment Data) is een methode om de variantie (spreiding) in A/B-tests en experimenten te verminderen, die gebruikmaakt van gegevens die vóór het experiment zijn verzameld om variaties te controleren.

Het idee is dat gebruikers pre-experiment metriek (bijvoorbeeld gedrag vóór het starten van de test) hebben die correleert met de doelmetriek. Door deze gegevens te gebruiken, kunnen de resultaten worden gecorrigeerd, ruis worden verminderd en de statistische kracht van de test worden verhoogd.

Hoe het werkt:

1. Er wordt een pre-experiment metriek (covariaat) verzameld, bijvoorbeeld het gemiddelde aantal aankopen per week vóór de test.
2. Voor elke gebruiker wordt een aangepaste metriek berekend door de invloed van de pre-experiment metriek weg te halen.
3. De aangepaste metriek wordt geanalyseerd, wat de variantie vermindert en het mogelijk maakt om effecten te detecteren met minder gebruikers.

Voorbeeld formule:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

waar:

• (Y_i) de waargenomen metriek in het experiment voor gebruiker i is
• (X_i) de pre-experiment metriek
• (\bar{X}) het gemiddelde van de pre-experiment metriek
• (\theta) de regressiecoëfficiënt tussen (Y) en (X)

Op deze manier helpt CUPED om de nauwkeurigheid van de schatting van het effect van het experiment te verbeteren, door de invloed van willekeurige schommelingen te verminderen en de kwaliteit van de conclusies te verbeteren.