Cos'è il Bayes empirico?

Empirical Bayes è un approccio nella statistica bayesiana in cui gli iperparametri della distribuzione a priori vengono stimati dai dati, anziché essere impostati in anticipo. Cioè, invece di un prior fisso, i suoi parametri vengono adattati empiricamente dalle osservazioni.

A differenza dell'approccio bayesiano classico, in cui il prior viene definito indipendentemente dai dati, empirical Bayes utilizza i dati per regolare il prior, semplificando spesso i calcoli e aumentando l'adattabilità del modello.

Un esempio di applicazione si trova in Gaussian Process (GP) e Bayesian Optimization (BO), dove gli iperparametri del kernel o del modello di rumore vengono adattati in base ai dati di addestramento, migliorando la qualità delle previsioni e dell'ottimizzazione.

In questo modo, empirical Bayes combina i vantaggi dell'approccio bayesiano con una valutazione pratica dei parametri dai dati.