Co je CUPED a jak snižuje varianci?

CUPED (Kontrolované experimenty s použitím před-experimentálních dat) je metoda snižování rozptylu (variance) v A/B testech a experimentech, která využívá data shromážděná před začátkem experimentu k řízení variací.

Myšlenka je, že uživatelé mají před-experimentální metriky (například chování před spuštěním testu), které korelují s cílovou metrikou. Použitím těchto dat lze upravit výsledky, snížit šum a zvýšit statistickou sílu testu.

Jak to funguje:

1. Sbírá se před-experimentální metrika (kovariát), například průměrný počet nákupů za týden před testem.
2. Pro každého uživatele se vypočítá upravená metrika odečtením vlivu před-experimentální metriky.
3. Upravená metrika se analyzuje, což snižuje rozptyl a umožňuje detekovat efekt s menším počtem uživatelů.

Příklad vzorce:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

kde:

• (Y_i) je pozorovaná metrika v experimentu pro uživatele i
• (X_i) je před-experimentální metrika
• (\bar{X}) je průměr před-experimentální metriky
• (\theta) je regresní koeficient mezi (Y) a (X)

Tímto způsobem CUPED pomáhá zlepšit přesnost odhadu efektu experimentu, snižuje vliv náhodných kolísání a zlepšuje kvalitu závěrů.