Cos'è l'ELBO e perché viene massimizzato?

ELBO (Limite Inferiore di Evidenza) è una stima inferiore del logaritmo della verosimiglianza marginale dei dati nell'inferenza variazionale. In compiti di inferenza bayesiana, dove il calcolo esatto della distribuzione a posteriori non è possibile, l’ELBO funge da funzione obiettivo per ottimizzare la distribuzione approssimativa.

Perché massimizzare l’ELBO:

• La massimizzazione dell’ELBO è equivalente a minimizzare la divergenza KL tra la distribuzione approssimativa e quella vera a posteriori.
• Questo permette di trovare l’approssimazione più vicina alla vera distribuzione a posteriori.
• L’ELBO garantisce un equilibrio tra la precisione dell’approssimazione e la complessità del modello.

Nel contesto di Processi Gaussiani (GP) e Ottimizzazione Bayesiana (BO), massimizzare l’ELBO aiuta a addestrare efficacemente i modelli e a fare previsioni considerando l’incertezza, migliorando la qualità dell’ottimizzazione e della generalizzazione.