¿Qué son los usuarios de holdout y por qué mantener un control constante?

Los usuarios de reserva — son un grupo de usuarios que no están sujetos a cambios o experimentos (por ejemplo, nuevas funciones o algoritmos) y sirven como grupo de control para evaluar la efectividad de los cambios.

¿Para qué mantener un control constante?

• Evaluación objetiva: permite comparar el comportamiento de los usuarios con y sin las nuevas funciones, para entender el impacto real de los cambios.
• Seguimiento del nivel base: ayuda a ver cómo cambia el comportamiento de los usuarios sin intervenciones, considerando la estacionalidad o factores externos.
• Prevención de sesgos: sin un grupo de reserva, los resultados del experimento pueden estar distorsionados, ya que no hay un estándar de comparación.

Por ejemplo, al lanzar una nueva recomendación en la aplicación, algunos usuarios ven el nuevo sistema, mientras que el grupo de reserva ve el antiguo. Comparando las métricas, se puede entender si el sistema ha mejorado.