Šta je CUPED i kako smanjuje varijansu?

CUPED (Контролисани експеримент коришћењем података пре експеримента) је метода за смањење варијансе (дисперзије) у A/B тестовима и експериментима, која користи податке прикупљене пре почетка експеримента за контролу варијација.

Идеја је да корисници имају предексперименталне метрике (нпр., понашање пре покретања теста), које корелирају са циљном метриком. Користећи ове податке, могу се исправити резултати, смањити шум и повећати статистичка моћ теста.

Како то ради:

1. Прикупља се предекспериментална метрика (коваријанта), нпр., просечан број куповина у току недеље пре теста.
2. За сваког корисника се израчунава исправљена метрика одузимањем утицаја предексперименталне метрике.
3. Анализира се исправљена метрика, што смањује варијансу и омогућава откривање ефеката са мање корисника.

Пример формуле:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

где:

• (Y_i) је посматрана метрика у експерименту за корисника i
• (X_i) је предекспериментална метрика
• (\bar{X}) је просек предексперименталне метрике
• (\theta) је регресијски коефицијент између (Y) и (X)

Овим методом, CUPED помаже у побољшању прецизности процене ефекта експеримента, смањујући утицај случајних колебања и побољшавајући квалитет закључака.