¿Qué es la prueba HOLD-OUT de efectos a largo plazo?

La prueba HOLD-OUT de efectos a largo plazo es un método para evaluar la estabilidad y el impacto duradero de los cambios realizados en un sistema o producto, después de completar el experimento principal (por ejemplo, una prueba A/B). A diferencia de la prueba A/B clásica, donde se mide el efecto durante un tiempo limitado, la prueba HOLD-OUT permite observar si el efecto persiste después de un período prolongado.

Ejemplo: después de realizar una prueba A/B de una nueva función, algunos usuarios que no participaron en la prueba (grupo de hold-out) continúan usando la versión antigua. Comparando el comportamiento de este grupo con el del grupo de prueba durante varias semanas o meses, se puede entender cuán sostenibles son los cambios y si causan efectos negativos a largo plazo.