Qu'est-ce que l'optimisation bayésienne pour HPO?

L’optimisation bayésienne est une méthode d’optimisation utilisée pour rechercher efficacement les hyperparamètres optimaux du modèle (HPO — Optimisation des hyperparamètres).

L’idée est qu’au lieu d’explorer toutes les combinaisons possibles d’hyperparamètres (ce qui peut être très coûteux), l’algorithme construit un modèle probabiliste de la dépendance de la qualité du modèle par rapport aux hyperparamètres. On utilise généralement un processus gaussien ou d’autres modèles pour évaluer la fonction de réponse.

Ensuite, sur la base de ce modèle, les hyperparamètres les plus prometteurs sont sélectionnés pour la prochaine exécution, ce qui permet de trouver plus rapidement de bonnes configurations.

Processus approximatif :

1. Choix des points initiaux (ensembles d’hyperparamètres) et évaluation de la qualité du modèle.
2. Construction d’un modèle probabiliste (modèle substitut) de la fonction de qualité.
3. Avec l’aide d’une fonction d’acquisition, sélection du prochain ensemble d’hyperparamètres à tester.
4. Répéter jusqu’à ce que le critère d’arrêt soit atteint.

Cela permet de réduire considérablement le nombre d’exécutions du modèle par rapport à une recherche exhaustive ou aléatoire.