Ce sunt rețelele neuronale bayesiene și cum se calculează posteriorul?

Rețele neuronale bayesiene (BNN) sunt rețele neuronale în care greutățile și parametrii sunt considerați variabile aleatorii cu o distribuție a priori. În loc de greutăți fixe, BNN modelează incertitudinea în parametri, ceea ce permite obținerea de predicții probabilistice și evaluarea încrederii în model.

Ideea principală este de a calcula distribuția posteriori a parametrilor rețelei ( p(\theta | D) ), unde ( \theta ) sunt parametrii rețelei și ( D ) datele de antrenament. Conform formulei lui Bayes:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) este distribuția a priori a parametrilor.
• ( p(D | \theta) ) este funcția de verosimilitate (probabilitatea datelor date fiind parametrii).
• ( p(D) ) este constanta de normalizare (probabilitatea marginală a datelor).

Calculul exact al posteriorului este de obicei imposibil din cauza dimensionalității ridicate și a complexității modelului, motiv pentru care se folosesc metode aproximative:

• Metode variationale (Inferență variatională): aproximează distribuția posterior cu o funcție mai simplă, minimizând divergența Kullback-Leibler.
• MCMC (Lanț Markov Monte Carlo): eșantionare din posterior folosind metode stochastice.
• Dropout ca aproximare bayesiană (MC Dropout).

Exemplu: abordarea bayesiană variatională definește o distribuție parametrică ( q(\theta) ) și optimizează parametrii acesteia pentru a apropia ( p(\theta | D) ).

Astfel, BNN permit luarea în considerare a incertitudinii în predicții, ceea ce este util în sarcini cu date limitate sau cu costuri ridicate ale erorilor.