Cosa sono le reti neurali bayesiane e come calcolare il posterior?

Le Reti Neurali Bayesiane (BNN) sono reti neurali in cui i pesi e i parametri sono considerati variabili casuali con una distribuzione a priori. Invece di pesi fissi, le BNN modellano l’incertezza nei parametri, consentendo di ottenere previsioni probabilistiche e di valutare la fiducia nel modello.

L’idea principale è calcolare la distribuzione a posteriori dei parametri della rete ( p(\theta | D) ), dove ( \theta ) sono i parametri della rete e ( D ) i dati di addestramento. Secondo la formula di Bayes:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) è la distribuzione a priori dei parametri.
• ( p(D | \theta) ) è la funzione di verosimiglianza (probabilità dei dati dati i parametri).
• ( p(D) ) è la costante di normalizzazione (probabilità marginale dei dati).

Il calcolo esatto della posteriore è di solito impossibile a causa dell’alta dimensionalità e della complessità del modello, per cui si usano metodi approssimativi:

• Metodi variationali (Inferenza Variazionale): approssimano la distribuzione a posteriori con una funzione più semplice, minimizzando la divergenza di Kullback-Leibler.
• MCMC (Catena di Markov Monte Carlo): campionamento dalla posteriore usando metodi stocastici.
• Dropout come approssimazione bayesiana (MC Dropout).

Esempio: l’approccio bayesiano variational definisce una distribuzione parametrica ( q(\theta) ) e ottimizza i suoi parametri per avvicinare ( p(\theta | D) ).

In questo modo, le BNN permettono di considerare l’incertezza nelle previsioni, utile in compiti con dati limitati o con alto costo di errore.