¿Qué es early stopping en HPO (ASHA, Hyperband)?

Early stopping en HPO (Optimización de Hiperparámetros), por ejemplo en algoritmos como ASHA y Hyperband, es un método para detener de manera anticipada el entrenamiento de modelos que muestran malos resultados en las primeras etapas. La idea es no gastar recursos en entrenar completamente hiperparámetros que probablemente no darán buenos resultados.

En ASHA (Algoritmo Asíncrono de Reducción Progresiva) y Hyperband, se asignan recursos (por ejemplo, épocas de entrenamiento) de manera secuencial a múltiples configuraciones de hiperparámetros. Después de cada iteración (paso intermedio), se evalúan los resultados y se descartan las peores configuraciones (early stopping), mientras que las mejores reciben más recursos para continuar el entrenamiento.

Esto permite utilizar de manera eficiente los recursos computacionales y encontrar los hiperparámetros óptimos más rápidamente, evitando entrenar completamente todas las opciones.