Wat is ELBO en waarom wordt het gemaximaliseerd?

ELBO (Evidence Lower Bound) — dit is een ondergrens van de logaritme van de marginale waarschijnlijkheid van de gegevens in variational inference. In Bayesian inference taken, waar het exacte berekenen van de posteriorverdeling onmogelijk is, dient ELBO als doelfunctie voor het optimaliseren van de benaderde verdeling.

Waarom ELBO maximaliseren:

• Het maximaliseren van ELBO is gelijk aan het minimaliseren van de KL-divergentie tussen de benaderde verdeling en de werkelijke posterior.
• Dit stelt ons in staat om de meest nauwkeurige benadering van de werkelijke posterior te vinden.
• ELBO zorgt voor een balans tussen de nauwkeurigheid van de benadering en de complexiteit van het model.

In de context van Gaussian Process (GP) en Bayesian Optimization (BO), helpt het maximaliseren van ELBO om modellen efficiënt te trainen en voorspellingen te doen rekening houdend met onzekerheid, wat de kwaliteit van optimalisatie en generalisatie verbetert.