O que é early stopping em HPO (ASHA, Hyperband)?

Paragem precoce em HPO (Otimização de Hiperparâmetros), por exemplo nos algoritmos ASHA e Hyperband, é um método de interromper antecipadamente o treino de modelos que apresentam resultados ruins nas fases iniciais. A ideia é não gastar recursos no treino completo de hiperparâmetros que provavelmente não irão produzir bons resultados.

No ASHA (Algoritmo Assíncrono de Redução Progressiva) e Hyperband, os recursos (por exemplo, épocas de treino) são alocados sequencialmente a várias configurações de hiperparâmetros. Após cada iteração (passo intermédio), os resultados são avaliados, e as configurações piores são descartadas (early stopping), enquanto as melhores recebem mais recursos para continuar o treino.

Isso permite usar de forma eficiente os recursos computacionais e encontrar os hiperparâmetros ótimos mais rapidamente, evitando treinar completamente todas as opções.