Qu'est-ce que l'arrêt anticipé dans HPO (ASHA, Hyperband) ?

L’arrêt précoce en HPO (Optimisation des Hyperparamètres), par exemple dans les algorithmes ASHA et Hyperband, est une méthode pour arrêter prématurément l’entraînement de modèles qui donnent de mauvais résultats aux premiers stades. L’idée est de ne pas gaspiller de ressources sur un entraînement complet d’hyperparamètres qui ont de fortes chances de ne pas donner de bons résultats.

Dans ASHA (Algorithme Asynchrone de Halving Successif) et Hyperband, des ressources (par exemple, des epochs d’entraînement) sont allouées de manière séquentielle à plusieurs configurations d’hyperparamètres. Après chaque itération (étape intermédiaire), les résultats sont évalués, et les configurations les plus faibles sont abandonnées (early stopping), tandis que les meilleures reçoivent plus de ressources pour continuer l’entraînement.

Cela permet d’utiliser efficacement les ressources informatiques et de trouver plus rapidement les hyperparamètres optimaux, en évitant de former complètement toutes les options.