Mi a Bayesian neurális hálózat és hogyan számoljuk a posteriort?

Bayes-i hálózatok (BNN) olyan neurális hálózatok, amelyekben a súlyokat és paramétereket véletlenszerű változóként kezelik, előzetes eloszlással. A fix súlyok helyett a BNN a paraméterek bizonytalanságát modellezi, lehetővé téve a valószínűségi előrejelzéseket és a modell bizalmának értékelését.

A fő ötlet a hálózati paraméterek ( p(\theta | D) ) utóeloszlásának kiszámítása, ahol ( \theta ) a hálózat paraméterei, ( D ) pedig a tanulási adatok. A Bayes-formula szerint:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) a paraméterek prior eloszlása.
• ( p(D | \theta) ) a valószínűségi függvény (az adatok valószínűsége adott paraméterek mellett).
• ( p(D) ) a normalizáló konstans (az adatok margó valószínűsége).

A pontos utóeloszlás számítása általában lehetetlen a magas dimenzió és a modell összetettsége miatt, ezért közelítő módszereket alkalmaznak:

• Variációs módszerek (Variational Inference): az utóeloszlást egyszerűbb függvénnyel közelítik, minimalizálva a Kullback-Leibler divergenciát.
• MCMC (Markov Chain Monte Carlo): mintavétel az utóeloszlásból stochasztikus módszerekkel.
• Dropout, mint bayes-i közelítés (MC Dropout).

Példa: a variációs bayes-i megközelítés egy paraméteres eloszlást ( q(\theta) ) határoz meg, és optimalizálja annak paramétereit, hogy közelítse a ( p(\theta | D) ) eloszlást.

Így a BNN lehetővé teszi a bizonytalanság figyelembevételét a predikciókban, ami hasznos korlátozott adatok vagy magas hibaköltség esetén.