Ce este ELBO și de ce îl maximizează?

ELBO (Limita Inferioară a Dovezii) — aceasta este o estimare inferioară a logaritmului probabilității marginale a datelor în inferența variatională. În sarcinile de inferență bayesiană, unde calculul exact al distribuției posterior nu este posibil, ELBO servește ca funcție obiectiv pentru optimizarea distribuției aproximative.

De ce se maximizează ELBO:

• Maximizarea ELBO este echivalentă cu minimizarea divergenței KL între distribuția aproximativă și cea adevărată a posteriorului.
• Acest lucru permite găsirea celei mai apropiate aproximări de distribuția adevărată a posteriorului.
• ELBO asigură un echilibru între precizia aproximării și complexitatea modelului.

În contextul Proceselor Gaussiene (GP) și Optimizării Bayesiene (BO), maximizarea ELBO ajută la antrenarea eficientă a modelelor și la realizarea de predicții ținând cont de incertitudine, îmbunătățind calitatea optimizării și a generalizării.