Co jsou Bayesian neuronové sítě a jak spočítat posterior?

Bayesovské neuronové sítě (BNN) jsou neuronové sítě, ve kterých jsou váhy a parametry považovány za náhodné proměnné s předchozím rozdělením. Místo pevných vah modelují BNN nejistotu v parametrech, což umožňuje získat pravděpodobnostní předpovědi a hodnotit důvěru v model.

Hlavní myšlenkou je vypočítat posteriorní rozdělení parametrů sítě ( p(\theta | D) ), kde ( \theta ) jsou parametry sítě a ( D ) jsou tréninková data. Podle Bayesova vzorce:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) je předchozí rozdělení parametrů.
• ( p(D | \theta) ) je funkce věrohodnosti (pravděpodobnost dat za daných parametrů).
• ( p(D) ) je normalizační konstanta (marginalní pravděpodobnost dat).

Přesný výpočet posterioru je obvykle nemožný kvůli vysoké dimenzionalitě a složitosti modelu, proto se používají aproximační metody:

• Variacionální metody (Variational Inference): aproximují posteriorní rozdělení jednodušší funkcí, minimalizací divergence Kullback-Leibler.
• MCMC (Markov Chain Monte Carlo): vzorkování z posterioru pomocí stochastických metod.
• Dropout jako bayesovská aproximace (MC Dropout).

Příklad: variacionální bayesovský přístup definuje parametrické rozdělení ( q(\theta) ) a optimalizuje jeho parametry tak, aby přiblížil ( p(\theta | D) ).

Tímto způsobem umožňují BNN zohlednit nejistotu v předpovědích, což je užitečné v úlohách s omezenými daty nebo vysokými náklady na chyby.