Какво е ELBO и защо го максимизират?

ELBO (Долна граница на доказателството) — това е долна оценка на логаритъма на маргиналната вероятност на данните във вариационното извеждане. В задачите на байесовото извеждане, където точното изчисление на апостериорното разпределение е невъзможно, ELBO служи като целева функция за оптимизация на приближеното разпределение.

Защо максимизираме ELBO:

• Максимизирането на ELBO е еквивалентно на минимизирането на KL-дивергенцията между приближеното и истинското апостериорно разпределение.
• Това позволява да се намери най-близкото до истинското апостериорно разпределение приближение.
• ELBO осигурява баланс между точността на приближение и сложността на модела.

В контекста на Gaussian Processes (GP) и Bayesian Optimization (BO), максимизирането на ELBO помага ефективно да се обучават модели и да се правят предсказания с вземане предвид на несигурността, подобрявайки качеството на оптимизацията и обобщението.