Qu'est-ce que l'ELBO et pourquoi le maximiser?

ELBO (Bound Inférieur de la Preuve) est une estimation inférieure du logarithme de la vraisemblance marginale des données en inférence variationnelle. Dans les tâches d’inférence bayésienne, où le calcul exact de la distribution a posteriori est impossible, l’ELBO sert de fonction objectif pour optimiser la distribution approximative.

Pourquoi maximiser l’ELBO :

• La maximisation de l’ELBO est équivalente à la minimisation de la divergence KL entre la distribution approximative et la véritable distribution a posteriori.
• Cela permet de trouver l’approximation la plus proche de la véritable distribution a posteriori.
• L’ELBO assure un équilibre entre la précision de l’approximation et la complexité du modèle.

Dans le contexte des Processus Gaussiens (GP) et de l’Optimisation Bayésienne (BO), maximiser l’ELBO aide à entraîner efficacement les modèles et à faire des prédictions en tenant compte de l’incertitude, améliorant la qualité de l’optimisation et de la généralisation.