Чӣ тавр шабакаҳои нейронӣ Bayesian ва чӣ гуна ҳисоб кардани posterior?

Шабакаҳои нейронӣ ба асоси Байес (BNN) — шабакаҳои нейронӣ мебошанд, ки дар онҳо вазнҳо ва параметрҳо ҳамчун тағйирёбандаҳои тасодуфӣ бо тақсимоти пешакӣ баррасӣ мешаванд. Ба ҷои вазнҳои доимӣ, BNN номуайянӣ дар параметрҳоро модел мекунанд, ки имкон медиҳад пешгӯии эҳтимолӣ ба даст оранд ва эътимоднокии моделро арзёбӣ кунанд.

Ҳадафи асосӣ — ҳисоб кардани тақсимоти пасоянӣ дар параметрҳои шабака ( p(\theta | D) ), ки дар он ( \theta ) параметрҳои шабака ва ( D ) маълумоти омӯзишӣ мебошанд. Бар асоси формулаи Байес:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) тақсимоти пешакӣ дар бораи параметрҳо мебошад.
• ( p(D | \theta) ) функсияи эҳтимолият (эҳтимолияти маълумотҳо бо параметрҳои додашуда).
• ( p(D) ) константаи нормализатсия (эҳтимолияти марҷиналӣ дар бораи маълумотҳо).

Ҳисоб кардани дақиқи posterior одатан ғайриимкон аст бо сабаби баланд будани андоза ва мураккабии модел, бинобар ин усулҳои наздик истифода мешаванд:

• Усулҳои вариационӣ (Variational Inference): тақсимоти posterior-ро бо функсияи соддатар наздик мекунанд, ки divergentsияи Кулбак-Лейблерро кам мекунад.
• MCMC (Markov Chain Monte Carlo): аз posterior бо истифода аз усулҳои стокастикӣ намуна мегиранд.
• Dropout ҳамчун наздикшавии Bayesian (MC Dropout).

Масалан: усули вариационӣ Bayesian параметриро муайян мекунад ва параметрҳои онро оптимизатсия мекунад, то тақсимоти ( p(\theta | D) )-ро наздик кунад.

Бинобар ин, BNN имкон медиҳад, ки номуайянӣ дар пешгӯиро ба назар гирад, ки дар вазифаҳои бо маълумоти маҳдуд ё бо арзиши баланд дар хатогӣ кӯмак мекунад.