CUPED дегеніміз не және ол қалай вариацияны азайтады?

CUPED (Бақылау-тәжірибе алдын ала деректерді пайдалану) — бұл A/B тесттер мен эксперименттерде дисперсияны (variance) азайту әдісі, ол эксперимент басталардан бұрын жиналған деректерді вариацияларды бақылау үшін пайдаланады.

Идеясы — пайдаланушыларда алдын ала эксперименттік метрикалар (мысалы, тестті іске қоспас бұрынғы мінез-құлық), олар мақсатты метрикамен корреляцияланады. Осы деректерді пайдалана отырып, нәтижелерді түзетіп, шуды азайтып, тесттің статистикалық қуатын арттыруға болады.

Қалай жұмыс істейді:

1. Алдын ала эксперименттік метрика (ковариат) жиналады, мысалы, тестке дейінгі аптадағы сатып алулардың орташа саны.
2. Әр пайдаланушы үшін түзетілген метрика есептеледі, ол алдын ала эксперименттік метриканың әсерін шегеру арқылы.
3. Түзетілген метрика талданады, бұл variance-ны азайтып, әсерді аз санды пайдаланушылармен анықтауға мүмкіндік береді.

Мысал формула:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

мұнда:

• (Y_i) — пайдаланушы үшін эксперименттегі бақылау метрикасы
• (X_i) — алдын ала эксперименттік метрика
• (\bar{X}) — алдын ала эксперименттік метриканың орташа мәні
• (\theta) — (Y) мен (X) арасындағы регрессия коэффициенті

Осылайша, CUPED эксперимент әсерін бағалаудағы дәлдікті арттырады, кездейсоқ ауытқулардың әсерін азайтып, қорытындылардың сапасын жақсартады.