Τι είναι τα Bayesian neural networks και πώς υπολογίζεται το posterior;

Τα Bayesian Neural Networks (BNN) είναι νευρωνικά δίκτυα στα οποία τα βάρη και οι παράμετροι θεωρούνται τυχαίες μεταβλητές με προγενέστερη κατανομή. Αντί για σταθερά βάρη, τα BNN μοντελοποιούν την αβεβαιότητα στις παραμέτρους, επιτρέποντας την παραγωγή πιθανοτικών προβλέψεων και την αξιολόγηση της εμπιστοσύνης του μοντέλου.

Η κύρια ιδέα είναι ο υπολογισμός της μετα-κατανομής των παραμέτρων του δικτύου ( p(\theta | D) ), όπου ( \theta ) είναι οι παράμετροι του δικτύου και ( D ) τα δεδομένα εκπαίδευσης. Σύμφωνα με τον τύπο του Bayes:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) είναι η προγενέστερη κατανομή των παραμέτρων.
• ( p(D | \theta) ) είναι η συνάρτηση πιθανοφάνειας (πιθανότητα των δεδομένων δεδομένων τις παραμέτρους).
• ( p(D) ) είναι η κανονιστική σταθερά (περατότητα των δεδομένων).

Ο ακριβής υπολογισμός της μετα-κατανομής είναι συνήθως αδύνατος λόγω της υψηλής διαστατικότητας και της πολυπλοκότητας του μοντέλου, γι' αυτό χρησιμοποιούνται προσεγγιστικές μέθοδοι:

• Μεθόδους διακυμάνσεων (Variational Inference): προσεγγίζουν την μετα-κατανομή με μια απλούστερη συνάρτηση, ελαχιστοποιώντας τη διαφορά Kullback-Leibler.
• MCMC (Markov Chain Monte Carlo): δειγματοληψία από την μετα-κατανομή με στατιστικές μεθόδους.
• Dropout ως προσεγγιστική Bayesian (MC Dropout).

Παράδειγμα: η προσεγγιστική Bayesian προσέγγιση ορίζει μια παραμετρική κατανομή ( q(\theta) ) και βελτιστοποιεί τα παραμέτρους της για να προσεγγίσει το ( p(\theta | D) ).

Έτσι, τα BNN επιτρέπουν την λήψη υπόψη της αβεβαιότητας στις προβλέψεις, κάτι που είναι χρήσιμο σε εργασίες με περιορισμένα δεδομένα ή υψηλό κόστος σφαλμάτων.