Kas yra Bayesian neuroninės tinklai ir kaip apskaičiuoti posterior?

Bayesinės neuroninės tinklai (BNN) — tai neuroniniai tinklai, kuriuose svoriai ir parametrai laikomi atsitiktinėmis kintamosiomis su išankstiniu pasiskirstymu. Vietoj fiksuotų svorių, BNN modeliuoja neapibrėžtumą parametruose, leidžiantį gauti tikimybinę prognozę ir įvertinti modelio pasitikėjimą.

Pagrindinė idėja — apskaičiuoti tinklo ( p(\theta | D) ) posteriorinį pasiskirstymą, kur ( \theta ) yra tinklo parametrai, o ( D ) — mokymo duomenys. Pagal Bayeso formulę:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) yra išankstinis parametrų pasiskirstymas.
• ( p(D | \theta) ) yra tikimybės funkcija (duomenų tikimybė duotais parametrais).
• ( p(D) ) yra normalizacijos konstantas (marginalus duomenų tikimybė).

Tiksli posterioro skaičiavimas dažnai yra neįmanomas dėl didelės dimensijos ir sudėtingumo, todėl naudojami apytiksliai metodai:

• Variaciniai metodai (Variational Inference): artėja prie posterioro pasiskirstymo paprastesne funkcija, minimizuodami Kullback-Leibler nukrypimą.
• MCMC (Markov Chain Monte Carlo): imituoja iš posterioro naudojant stochastinius metodus.
• Dropout kaip Bayesian apytikslis metodas (MC Dropout).

Pavyzdys: variacinis Bayesian požiūris apibrėžia parametrinį pasiskirstymą ( q(\theta) ) ir optimizuoja jo parametrus, kad artėtų prie ( p(\theta | D) ).

Taip, BNN leidžia atsižvelgti į neapibrėžtumą prognozėse, kas yra naudinga su ribotais duomenimis arba didelėmis klaidų sąnaudomis.