Čo je ELBO a prečo ho maximalizujú?

ELBO (Dolná hranica dôkazu) — to je dolná odhad logaritmu marginálneho pravdepodobnosti dát v variational inference. V úlohách bayesovského inference, kde je presný výpočet posteriorného rozdelenia nemožný, slúži ELBO ako cieľová funkcia na optimalizáciu približného rozdelenia.

Prečo maximalizovať ELBO:

• Maximalizácia ELBO je ekvivalentná minimalizácii KL divergencie medzi približným a skutočným posteriorom.
• To umožňuje nájsť najbližšie približenie skutočnému posterioru.
• ELBO zabezpečuje rovnováhu medzi presnosťou približenia a zložitostí modelu.

V kontexte Gaussovských procesov (GP) a Bayesian Optimization (BO) pomáha maximalizácia ELBO efektívne trénovať modely a robiť predpovede s ohľadom na neistotu, čím zlepšuje kvalitu optimalizácie a generalizácie.