Что такое ELBO и почему его максимизируют?

ELBO (Evidence Lower Bound) — это нижняя оценка логарифма маргинального правдоподобия данных в вариационном выводе. В задачах байесовского вывода, где точное вычисление апостериорного распределения невозможно, ELBO служит функцией цели для оптимизации приближенного распределения.

Почему максимизируют ELBO:

• Максимизация ELBO эквивалентна минимизации KL-дивергенции между приближенным распределением и истинным апостериорным.
• Это позволяет найти наиболее близкое к истинному апостериорному распределению приближение.
• ELBO обеспечивает баланс между точностью приближения и сложностью модели.

В контексте Gaussian Processes (GP) и Bayesian Optimization (BO) максимизация ELBO помогает эффективно обучать модели и делать предсказания с учётом неопределённости, улучшая качество оптимизации и обобщения.