Кога да използвате holdout група?

Holdout групата е контролна група от потребители, която е напълно изключена от експеримента (A/B тест). Тя се използва, за да има референтна извадка, която не е повлияна от промените, и да сравнява резултатите с тестовите групи.

Кога да използвате holdout групата:

• За измерване на естествените колебания на метриките без въздействие от промените.
• За оценка на дългосрочния ефект от промените, сравнявайки с неизменена група.
• Когато е необходимо да се избегне въздействието на експеримента върху някои потребители, например за критични функции.
• За проверка дали резултатите от теста наистина са причинени от промените, а не от външни фактори.

По този начин, holdout групата помага да се повиши надеждността и качеството на анализа на резултатите от експеримента.