Wanneer een holdout-groep gebruiken?

De holdout-groep is een controlegroep van gebruikers die volledig wordt uitgesloten van het experiment (A/B-test). Het wordt gebruikt om een referentieproef te hebben die niet wordt beïnvloed door veranderingen, en om de resultaten te vergelijken met de testgroepen.

Wanneer de holdout-groep gebruiken:

• Om de natuurlijke schommelingen van metrics zonder invloed van veranderingen te meten.
• Om het langetermijneffect van veranderingen te beoordelen, door het te vergelijken met een ongewijzigde groep.
• Wanneer het nodig is om te voorkomen dat het experiment invloed heeft op sommige gebruikers, bijvoorbeeld voor kritieke functies.
• Om te controleren of de testresultaten daadwerkelijk worden veroorzaakt door de veranderingen en niet door externe factoren.

Op deze manier helpt de holdout-groep om de betrouwbaarheid en kwaliteit van de analyse van de experimentresultaten te verbeteren.