Qu'est-ce que le Bayes empirique ?

Empirical Bayes est une approche en statistique bayésienne, où les hyperparamètres de la distribution a priori sont estimés à partir des données, plutôt que d’être fixés à l’avance. Autrement dit, au lieu d’un priori fixe, ses paramètres sont ajustés empiriquement à partir des observations.

Contrairement à l’approche bayésienne classique, où l’a priori est défini indépendamment des données, empirical Bayes utilise les données pour ajuster l’a priori, ce qui simplifie souvent les calculs et augmente l’adaptabilité du modèle.

Un exemple d’application est dans Gaussian Process (GP) et Bayesian Optimization (BO), où les hyperparamètres du noyau ou du modèle de bruit sont ajustés en fonction des données d’entraînement, améliorant la qualité des prédictions et de l’optimisation.

Ainsi, empirical Bayes combine les avantages de l’approche bayésienne avec une évaluation pratique des paramètres à partir des données.