Qu'est-ce que l'optimisation bayésienne et les fonctions d'acquisition (EI, UCB, PI) ?

L'optimisation bayésienne est une méthode d'optimisation de fonctions complexes, coûteuses à évaluer ou n'ayant pas de forme analytique. Elle utilise un modèle probabiliste (généralement un processus gaussien) pour approximer la fonction cible et choisit les prochains points à évaluer, en équilibrant exploration et exploitation.

Les fonctions d'acquisition sont des fonctions qui, en se basant sur le modèle actuel, déterminent où effectuer la prochaine expérience. Elles transforment les prédictions du modèle en un critère de sélection du point.

Principales fonctions d'acquisition :

• Expected Improvement (EI) — amélioration attendue par rapport à la meilleure valeur actuelle. Elle choisit les points où une amélioration maximale est attendue.

• Upper Confidence Bound (UCB) — combine la prédiction moyenne et l'incertitude (variance) avec un coefficient, permettant d'équilibrer exploration et exploitation. La formule est généralement : UCB(x) = μ(x) + κ·σ(x), où κ est un paramètre.

• Probability of Improvement (PI) — probabilité que la fonction dépasse le meilleur résultat actuel en un point x.

Ainsi, l'optimisation bayésienne recherche efficacement le maximum ou le minimum d'une fonction, en utilisant un modèle et une fonction d'acquisition pour choisir les points les plus prometteurs à évaluer.