Šta je ELBO i zašto ga maksimiziraju?

ELBO (Donja granica dokaza) — to je donja procjena logaritma marginalne vjerojatnosti podataka u varijacijskom zaključivanju. U zadacima bayesovskog zaključivanja, gdje je točno računanje posteriornog rasporeda nemoguće, ELBO služi kao funkcija cilja za optimizaciju približnog rasporeda.

Zašto maksimizirati ELBO:

• Maksimizacija ELBO je ekvivalentna minimizaciji KL divergencije između približnog i stvarnog posteriornog rasporeda.
• To omogućava pronalazak najbližeg približavanja stvarnom posterioru.
• ELBO osigurava ravnotežu između točnosti približavanja i složenosti modela.

U kontekstu Gaussovskih procesa (GP) i Bayesovske optimizacije (BO), maksimizacija ELBO pomaže učinkovito trenirati modele i donositi predviđanja uzimajući u obzir nesigurnost, čime se poboljšava kvaliteta optimizacije i generalizacije.