Mi az a CUPED és hogyan csökkenti a varianciát?
sobes.tech MI
Válasz az MI-től
A CUPED (Controlled-experiment Using Pre-Experiment Data) egy módszer a variancia csökkentésére A/B tesztekben és kísérletekben, amely a kísérlet előtt gyűjtött adatok felhasználásával kontrollálja a változásokat.
Az ötlet az, hogy a felhasználóknak vannak előkísérleti metrikáik (például a teszt indítása előtti viselkedés), amelyek korrelálnak a célmetrikával. Ezeket az adatokat felhasználva korrigálhatjuk az eredményeket, csökkenthetjük a zajt, és növelhetjük a statisztikai erőt.
Hogyan működik:
- Egy előkísérleti metrika (kovariát) gyűjtése, például az átlagos vásárlások száma egy héten belül a teszt előtt.
- Minden felhasználó esetében egy korrigált metrikát számítunk, kivonva az előkísérleti metrika hatását.
- A korrigált metrikát elemzik, ami csökkenti a varianciát, és lehetővé teszi a hatás felismerését kevesebb felhasználóval.
Példa képlet:
[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]
ahol:
- (Y_i) a megfigyelt metrika a kísérletben az i felhasználóra
- (X_i) az előkísérleti metrika
- (\bar{X}) az előkísérleti metrika átlaga
- (\theta) a regressziós együttható a (Y) és (X) között.
Így a CUPED segít javítani a kísérlet hatásának becslésének pontosságát, csökkentve a véletlenszerű ingadozások hatását, és javítva a következtetések minőségét.