Čo sú Bayesian neurónové siete a ako vypočítať posterior?

Bayesovské neurónové siete (BNN) sú neurónové siete, v ktorých sú váhy a parametre považované za náhodné premenne s predchádzajúcim rozdelením. Namiesto pevných váh modelujú BNN neistotu v parametroch, čo umožňuje získať pravdepodobnostné predpovede a hodnotiť dôveru v model.

Hlavná myšlienka je vypočítať posteriorné rozdelenie parametrov siete ( p(\theta | D) ), kde ( \theta ) sú parametre siete a ( D ) sú tréningové údaje. Podľa Bayesovho vzorca:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) je predchádzajúce rozdelenie parametrov.
• ( p(D | \theta) ) je funkcia pravdepodobnosti (pravdepodobnosť dát za daných parametrov).
• ( p(D) ) je normalizačná konštanta (marginalná pravdepodobnosť dát).

Presné výpočty posterioru sú zvyčajne nemožné kvôli vysokej dimenzionalite a zložitosti modelu, preto sa používajú približovacie metódy:

• Variacionálne metódy (Variational Inference): približujú posteriorné rozdelenie jednoduchšou funkciou, minimalizujúc divergenciu Kullback-Leibler.
• MCMC (Markov Chain Monte Carlo): vzorkovanie z posterioru pomocou stochastických metód.
• Dropout ako bayesovská aproximácia (MC Dropout).

Príklad: variacionálny bayesovský prístup definuje parametrické rozdelenie ( q(\theta) ) a optimalizuje jeho parametre, aby približilo ( p(\theta | D) ).

Takto BNN umožňujú zohľadniť neistotu v predpovediach, čo je užitočné pri úlohách s obmedzenými dátami alebo vysokými nákladmi na chyby.