Kas yra CUPED ir kaip jis sumažina variaciją?

CUPED (Kontroliuojamas eksperimentas naudojant priešeksperimentinius duomenis) yra metodas, skirtas sumažinti dispersiją (variaciją) A/B testuose ir eksperimentuose, naudojant duomenis, surinktus prieš eksperimentą, siekiant kontroliuoti variacijas.

Idėja ta, kad naudotojai turi priešeksperimentinius rodiklius (pavyzdžiui, elgesį prieš testą), kurie koreliuoja su tiksliniu rodikliu. Naudodami šiuos duomenis, galime koreguoti rezultatus, sumažinti triukšmą ir padidinti statistinį galią.

Kaip tai veikia:

1. Surenkama priešeksperimentinė rodiklis (kovariatas), pavyzdžiui, vidutinis pirkimų skaičius per savaitę prieš testą.
2. Kiekvienam naudotojui apskaičiuojama koreguota rodiklis, atimant priešeksperimentinio rodiklio įtaką.
3. Analizuojama koreguota rodiklis, tai sumažina dispersiją ir leidžia aptikti efektą su mažesniu naudotojų skaičiumi.

Pavyzdinė formulė:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

kur:

• (Y_i) yra stebima rodiklis eksperimente naudotojui i
• (X_i) yra priešeksperimentinis rodiklis
• (\bar{X}) yra priešeksperimentinio rodiklio vidurkis
• (\theta) yra regresijos koeficientas tarp (Y) ir (X)

Šiuo būdu, CUPED padeda pagerinti eksperimento poveikio įvertinimo tikslumą, sumažindamas atsitiktinių svyravimų įtaką ir pagerindamas išvadų kokybę.