Cos'è l'interruzione anticipata in HPO (ASHA, Hyperband)?

Early stopping in HPO (Hyperparameter Optimization), ad esempio negli algoritmi ASHA e Hyperband, è un metodo per interrompere anticipatamente l’addestramento di modelli che mostrano risultati scarsi nelle prime fasi. L’idea è di non sprecare risorse nell’addestramento completo di iperparametri che probabilmente non daranno buoni risultati.

In ASHA (Algoritmo Asincrono di Halving Successivo) e Hyperband, le risorse (ad esempio, epoche di addestramento) vengono assegnate sequenzialmente a molte configurazioni di iperparametri. Dopo ogni iterazione (passo intermedio), i risultati vengono valutati e le configurazioni peggiori vengono eliminate (early stopping), mentre le migliori ricevono più risorse per continuare l’addestramento.

Questo permette di utilizzare efficacemente le risorse computazionali e di trovare più rapidamente gli iperparametri ottimali, evitando di addestrare completamente tutte le varianti.