Co je ELBO a proč ho maximalizují?

ELBO (Dolní mez výpovědi) je odhad dolní hranice logaritmu marginální pravděpodobnosti dat v variational inference. V úlohách bayesovského inference, kde je přesný výpočet posteriorního rozdělení nemožný, slouží ELBO jako cílová funkce pro optimalizaci přibližného rozdělení.

Proč maximalizovat ELBO:

• Maximalizace ELBO je ekvivalentní minimalizaci KL divergencí mezi přibližným a skutečným posteriorem.
• To umožňuje najít nejbližší přiblížení skutečnému posterioru.
• ELBO zajišťuje rovnováhu mezi přesností přiblížení a složitostí modelu.

V kontextu Gaussovských procesů (GP) a bayesovské optimalizace (BO) pomáhá maximalizace ELBO efektivně trénovat modely a dělat předpovědi s ohledem na nejistotu, čímž zlepšuje kvalitu optimalizace a generalizace.