Czym jest ELBO i dlaczego je maksymalizuje?

ELBO (Dolna Granica Dowodu) — to dolna ocena logarytmu rozkładu marginalnego danych w wnioskowaniu wariacyjnym. W zadaniach wnioskowania bayesowskiego, gdzie dokładne obliczenie rozkładu posterior jest niemożliwe, ELBO służy jako funkcja celu do optymalizacji rozkładu przybliżonego.

Dlaczego maksymalizować ELBO:

• Maksymalizacja ELBO jest równoważna minimalizacji dywergencji KL między rozkładem przybliżonym a prawdziwym rozkładem posterior.
• Pozwala to znaleźć najbardziej zbliżone do prawdziwego rozkładu posterior przybliżenie.
• ELBO zapewnia równowagę między dokładnością przybliżenia a złożonością modelu.

W kontekście Procesów Gaussowskich (GP) i Optymalizacji Bayesowskiej (BO), maksymalizacja ELBO pomaga efektywnie trenować modele i dokonywać predykcji z uwzględnieniem niepewności, poprawiając jakość optymalizacji i uogólniania.