¿Qué es ELBO y por qué se maximiza?

ELBO (Límite Inferior de Evidencia) es una estimación inferior del logaritmo de la probabilidad marginal de los datos en inferencia variacional. En tareas de inferencia bayesiana, donde el cálculo exacto de la distribución posterior no es posible, ELBO sirve como función objetivo para optimizar la distribución aproximada.

Por qué se maximiza ELBO:

• Maximizar ELBO es equivalente a minimizar la divergencia KL entre la distribución aproximada y la verdadera distribución posterior.
• Esto permite encontrar la aproximación más cercana a la verdadera distribución posterior.
• ELBO proporciona un equilibrio entre la precisión de la aproximación y la complejidad del modelo.

En el contexto de Procesos Gaussianos (GP) y Optimización Bayesiana (BO), maximizar ELBO ayuda a entrenar modelos de manera eficiente y a hacer predicciones considerando la incertidumbre, mejorando la calidad de la optimización y la generalización.