O que é o teste HOLD-OUT de efeitos a longo prazo?

O teste HOLD-OUT de efeitos a longo prazo é um método de avaliação da estabilidade e do impacto duradouro das mudanças feitas num sistema ou produto, após a conclusão do experimento principal (por exemplo, um teste A/B). Ao contrário do teste A/B clássico, onde o efeito é medido durante um período limitado, o teste HOLD-OUT permite observar se o efeito persiste após um período prolongado.

Exemplo: após realizar um teste A/B de uma nova funcionalidade, alguns utilizadores que não participaram no teste (grupo de hold-out) continuam a usar a versão antiga. Comparando o comportamento deste grupo com o do grupo de teste durante várias semanas ou meses, pode-se entender quão sustentáveis são as mudanças e se elas causam efeitos negativos a longo prazo.