Čo je CUPED a ako znižuje varianciu?

CUPED (Kontrolovaný experiment s použitím dát pred experimentom) je metóda na zníženie rozptylu (variance) v A/B testoch a experimentoch, ktorá využíva údaje zozbierané pred začiatkom experimentu na kontrolu variácií.

Myšlienka je, že používatelia majú pred-experimentálne metriky (napríklad správanie pred spustením testu), ktoré korelujú s cieľovou metrikou. Použitím týchto údajov je možné upraviť výsledky, znížiť šum a zvýšiť štatistickú silu testu.

Ako to funguje:

1. Zbiera sa pred-experimentálna metrika (kovariát), napríklad priemerný počet nákupov za týždeň pred testom.
2. Pre každého používateľa sa vypočíta upravená metrika odpočítaním vplyvu pred-experimentálnej metriky.
3. Upravená metrika sa analyzuje, čo znižuje rozptyl a umožňuje detekovať efekt s menším počtom používateľov.

Príklad vzorca:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

kde:

• (Y_i) je pozorovaná metrika v experimente pre používateľa i
• (X_i) je pred-experimentálna metrika
• (\bar{X}) je priemer pred-experimentálnej metriky
• (\theta) je regresný koeficient medzi (Y) a (X)

Týmto spôsobom CUPED pomáha zlepšiť presnosť odhadu efektu experimentu, znižovaním vplyvu náhodných kolísaní a zlepšovaním kvality záverov.