Какво е CUPED и как намалява вариацията?

CUPED (Контролирано експериментално използване на данни преди експеримента) е метод за намаляване на дисперсията (варианса) в A/B тестове и експерименти, който използва данни, събрани преди началото на експеримента, за да контролира вариациите.

Идеята е, че потребителите имат предекспериментални метрики (например, поведение преди старта на теста), които корелират с целевата метрика. Използвайки тези данни, може да се коригират резултатите, да се намали шумът и да се увеличи статистическата мощност на теста.

Как работи:

1. Събира се предекспериментална метрика (ковариата), например, средният брой покупки за седмица преди теста.
2. За всеки потребител се изчислява коригирана метрика, като се извади влиянието на предексперименталната метрика.
3. Анализира се коригираната метрика, което намалява варианс и позволява да се открият ефекти с по-малко потребители.

Примерна формула:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

където:

• (Y_i) е наблюдаваната метрика в експеримента за потребител i
• (X_i) е предексперименталната метрика
• (\bar{X}) е средната стойност на предексперименталната метрика
• (\theta) е коефициентът на регресия между (Y) и (X)

По този начин, CUPED помага да се подобри точността на оценката на ефекта от експеримента, като намалява влиянието на случайните колебания и подобрява качеството на изводите.