Kas ir Bayesian neironu tīkli un kā aprēķināt posterior?

Bayesiešu neironu tīkli (BNN) ir neironu tīkli, kuros svari un parametri tiek kā nejauši mainīgie ar iepriekšēju sadalījumu. Tā vietā, lai izmantotu fiksētus svarus, BNN modelē nenoteiktību parametros, ļaujot iegūt probabilistiskas prognozes un novērtēt modeļa uzticamību.

Galvenā ideja ir aprēķināt tīkla ( p(\theta | D) ) posteriora sadalījumu, kur ( \theta ) ir tīkla parametri un ( D ) ir apmācības dati. Saskaņā ar Bayesa formulu:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) ir iepriekšējais sadalījums par parametrus.
• ( p(D | \theta) ) ir ticamības funkcija (datu iespējamība, ņemot vērā parametrus).
• ( p(D) ) ir normalizācijas konstante (marginalā datu iespējamība).

Precīza posteriora aprēķināšana parasti nav iespējama augstas dimensionalitātes un modeļa sarežģītības dēļ, tāpēc tiek izmantotas tuvināšanas metodes:

• Vairāku variāciju metodes (Variational Inference): tuvinās posteriora sadalījumu ar vienkāršāku funkciju, minimizējot Kullback-Leibler divergenci.
• MCMC (Markov Chain Monte Carlo): paraugu ņemšana no posteriora, izmantojot stohastiskas metodes.
• Dropout kā Bayesian tuvinājums (MC Dropout).

Piemērs: variacionālais Bayesian pieejas definē parametrisku sadalījumu ( q(\theta) ) un optimizē tā parametrus, lai tuvinātu ( p(\theta | D) ).

Tādējādi, BNN ļauj ņemt vērā nenoteiktību prognozēs, kas ir noderīgi ar ierobežotiem datiem vai ar augstām kļūdu izmaksām.