Какви са Bayesian невронните мрежи и как да изчислим posterior?

Bayesови невронни мрежи (BNN) са невронни мрежи, в които теглата и параметрите се разглеждат като случайни величини с предварително разпределение. Вместо фиксирани тегла, BNN моделират несигурността в параметрите, което позволява получаване на вероятностни прогнози и оценка на увереността в модела.

Основната идея е да се изчисли постериорното разпределение на параметрите на мрежата ( p(\theta | D) ), където ( \theta ) са параметрите на мрежата, а ( D ) са обучаващите данни. Според формулата на Байес:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) е предварителното разпределение на параметрите.
• ( p(D | \theta) ) е функцията на правдоподобие (вероятността на данните при дадени параметри).
• ( p(D) ) е нормализиращата константа (маргиналната вероятност на данните).

Точното изчисление на постериорното разпределение обикновено е невъзможно поради високата размерност и сложността на модела, затова се използват приближаващи методи:

• Вариационни методи (Variational Inference): приближават постериорното разпределение с по-проста функция, минимизирайки divergencия на Кулбак-Лейблер.
• MCMC (Markov Chain Monte Carlo): вземане на проби от постериорното разпределение чрез стохастични методи.
• Dropout като Bayesian приближение (MC Dropout).

Пример: вариационният Bayesian подход дефинира параметрично разпределение ( q(\theta) ) и оптимизира неговите параметри, за да приближи ( p(\theta | D) ).

По този начин, BNN позволяват да се вземе предвид несигурността в прогнозите, което е полезно при задачи с ограничени данни или висок разход за грешки.