Τι είναι το ELBO και γιατί το μεγιστοποιούν;

ELBO (Evidence Lower Bound) — αυτή είναι μια κατώτερη εκτίμηση του λογαρίθμου της περιθωριακής πιθανότητας των δεδομένων στην παραλλαγική έμφαση. Σε εργασίες Bayesian inference, όπου ο ακριβής υπολογισμός της μετα-κατανομής είναι αδύνατος, το ELBO χρησιμεύει ως λειτουργία στόχου για την βελτιστοποίηση της προσεγγιστικής κατανομής.

Γιατί μεγιστοποιούμε το ELBO:

• Η μεγιστοποίηση του ELBO είναι ισοδύναμη με την ελαχιστοποίηση της divergencης KL μεταξύ της προσεγγιστικής και της πραγματικής μετα-κατανομής.
• Αυτό επιτρέπει την εύρεση της πιο κοντινής προσέγγισης στην πραγματική μετα-κατανομή.
• Το ELBO διασφαλίζει μια ισορροπία μεταξύ της ακρίβειας της προσέγγισης και της πολυπλοκότητας του μοντέλου.

Στο πλαίσιο των Γραμμικών Διαδικασιών (GP) και της Bayesian Optimization (BO), η μεγιστοποίηση του ELBO βοηθά στην αποτελεσματική εκπαίδευση μοντέλων και στην πραγματοποίηση προβλέψεων λαμβάνοντας υπόψη την αβεβαιότητα, βελτιώνοντας την ποιότητα της βελτιστοποίησης και της γενίκευσης.