Что такое holdout users и зачем держать постоянный контроль?

Holdout users — это группа пользователей, которые не подвергаются изменениям или экспериментам (например, новым функциям или алгоритмам) и служат контрольной группой для оценки эффективности изменений.

Зачем держать постоянный контроль:

• Объективная оценка: позволяет сравнивать поведение пользователей с новыми функциями и без них, чтобы понять реальное влияние изменений.
• Отслеживание базового уровня: помогает видеть, как меняется поведение пользователей без вмешательств, учитывая сезонность или внешние факторы.
• Предотвращение смещения: без holdout группы результаты эксперимента могут быть искажены, так как нет эталона для сравнения.

Например, при запуске новой рекомендации в приложении часть пользователей видит новую систему, а holdout группа — старую. Сравнивая метрики, можно понять, улучшилась ли система.