Was ist CUPED und wie reduziert es die Varianz?

CUPED (Kontrolliertes Experiment unter Verwendung von Vor-Experiment-Daten) ist eine Methode zur Verringerung der Varianz in A/B-Tests und Experimenten, die Daten verwendet, die vor Beginn des Experiments gesammelt wurden, um Variationen zu kontrollieren.

Die Idee ist, dass Benutzer vor dem Experiment bestimmte Metriken haben (z.B. Verhalten vor dem Start des Tests), die mit der Zielmetrik korrelieren. Mit diesen Daten kann man die Ergebnisse anpassen, um Rauschen zu reduzieren und die statistische Power des Tests zu erhöhen.

So funktioniert es:

1. Es wird eine vor-Experimentelle Metrik (Kovariate) gesammelt, z.B. die durchschnittliche Anzahl der Käufe pro Woche vor dem Test.
2. Für jeden Benutzer wird eine angepasste Metrik berechnet, indem der Einfluss der vor-Experimentellen Metrik subtrahiert wird.
3. Die angepasste Metrik wird analysiert, was die Varianz reduziert und es ermöglicht, Effekte mit weniger Nutzern zu erkennen.

Beispiel für eine Formel:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

wobei:

• (Y_i) die beobachtete Metrik im Experiment für den Benutzer i ist
• (X_i) die vor-Experimentelle Metrik ist
• (\bar{X}) das Durchschnitt der vor-Experimentellen Metrik ist
• (\theta) der Regressionskoeffizient zwischen (Y) und (X) ist

Auf diese Weise hilft CUPED, die Genauigkeit der Effektschätzung des Experiments zu verbessern, indem es den Einfluss zufälliger Schwankungen reduziert und die Qualität der Schlussfolgerungen verbessert.