Quelles approches HPO conscientes du coût existent ?

L'optimisation des hyperparamètres sensible au coût (HPO) sont des approches pour optimiser les hyperparamètres des modèles en tenant compte du coût de calcul (temps, ressources). Les principales méthodes incluent :

• Optimisation multi-fidélité : utilise des évaluations sur des versions simplifiées de la tâche (par exemple, avec moins de données ou moins d'époques) pour éliminer rapidement les mauvaises options.
• Arrêt précoce : interrompt l'entraînement des modèles qui montrent de mauvais résultats à un stade précoce pour économiser des ressources.
• Optimisation bayésienne avec prise en compte du coût : modification de l'approche bayésienne classique, où l'on considère non seulement la qualité du modèle, mais aussi le coût de calcul lors du choix du prochain point.
• Bandes multi-bras : répartition des ressources computationnelles entre différentes configurations, en privilégiant celles qui semblent plus prometteuses.

Ces méthodes aident à utiliser efficacement les ressources limitées lors de la recherche d'hyperparamètres optimaux.