Что такое CUPED и как он снижает variance?

CUPED (Controlled-experiment Using Pre-Experiment Data) — это метод снижения дисперсии (variance) в A/B тестах и экспериментах, который использует данные, собранные до начала эксперимента, для контроля вариаций.

Идея в том, что у пользователей есть предэкспериментальные метрики (например, поведение до запуска теста), которые коррелируют с целевой метрикой. Используя эти данные, можно скорректировать результаты, уменьшив шум и повысив статистическую мощность теста.

Как это работает:

1. Собирается предэкспериментальная метрика (covariate), например, среднее количество покупок за неделю до теста.
2. Рассчитывается скорректированная метрика для каждого пользователя, вычитая влияние предэкспериментальной метрики.
3. Анализируется скорректированная метрика, что снижает variance и позволяет обнаружить эффект с меньшим числом пользователей.

Пример формулы:

[ Y_i^{adj} = Y_i - \theta (X_i - \bar{X}) ]

где:

• (Y_i) — наблюдаемая метрика в эксперименте для пользователя i
• (X_i) — предэкспериментальная метрика
• (\bar{X}) — среднее предэкспериментальной метрики
• (\theta) — коэффициент регрессии между (Y) и (X)

Таким образом, CUPED помогает повысить точность оценки эффекта эксперимента, снижая влияние случайных колебаний и улучшая качество выводов.