Когда использовать holdout group?

Holdout group — это контрольная группа пользователей, которая полностью исключается из эксперимента (A/B-теста). Ее используют для того, чтобы иметь эталонную выборку, на которой не влияют изменения, и сравнивать результаты с тестовыми группами.

Когда использовать holdout group:

• Чтобы измерить естественные колебания метрик без воздействия изменений.
• Для оценки долгосрочного эффекта изменений, сравнивая с неизменной группой.
• Когда нужно избежать влияния эксперимента на часть пользователей, например, для критически важных функций.
• Для проверки, что результаты теста действительно вызваны изменениями, а не внешними факторами.

Таким образом, holdout group помогает повысить достоверность и качество анализа результатов эксперимента.