Was ist ELBO und warum maximiert man es?

ELBO (Evidence Lower Bound) ist eine untere Schätzung des Logarithmus der marginalen Wahrscheinlichkeit der Daten in der variationalen Inferenz. Bei bayesianischen Inferenzaufgaben, bei denen die exakte Berechnung der posterioren Verteilung unmöglich ist, dient ELBO als Ziel-Funktion zur Optimierung der approximativen Verteilung.

Warum ELBO maximieren:

• Die Maximierung von ELBO ist äquivalent zur Minimierung der KL-Divergenz zwischen der approximativen Verteilung und der wahren posterioren Verteilung.
• Dies ermöglicht es, die nächstgelegene Annäherung an die wahre posterioren Verteilung zu finden.
• ELBO sorgt für ein Gleichgewicht zwischen Genauigkeit der Annäherung und Komplexität des Modells.

Im Kontext von Gaußschen Prozessen (GP) und Bayesianischer Optimierung (BO) hilft die Maximierung von ELBO, Modelle effizient zu trainieren und Vorhersagen unter Berücksichtigung der Unsicherheit zu treffen, was die Qualität der Optimierung und Generalisierung verbessert.