O que são redes neurais bayesianas e como calcular o posterior?

Redes Neurais Bayesianas (BNN) são redes neurais em que os pesos e parâmetros são considerados variáveis aleatórias com uma distribuição a priori. Em vez de pesos fixos, os BNN modelam a incerteza nos parâmetros, permitindo obter previsões probabilísticas e avaliar a confiança do modelo.

A ideia principal é calcular a distribuição posterior dos parâmetros da rede ( p(\theta | D) ), onde ( \theta ) são os parâmetros da rede e ( D ) os dados de treino. Segundo a fórmula de Bayes:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) é a distribuição a priori dos parâmetros.
• ( p(D | \theta) ) é a função de verossimilhança (probabilidade dos dados dado os parâmetros).
• ( p(D) ) é a constante de normalização (probabilidade marginal dos dados).

O cálculo exato da posterior geralmente é inviável devido à alta dimensionalidade e complexidade do modelo, por isso são utilizados métodos aproximados:

• Métodos variacionais (Inferência Variacional): aproximam a distribuição posterior com uma função mais simples, minimizando a divergência de Kullback-Leibler.
• MCMC (Cadeia de Markov Monte Carlo): amostragem da posterior usando métodos estocásticos.
• Dropout como aproximação bayesiana (MC Dropout).

Exemplo: a abordagem bayesiana variacional define uma distribuição paramétrica ( q(\theta) ) e otimiza seus parâmetros para aproximar ( p(\theta | D) ).

Dessa forma, os BNN permitem levar em conta a incerteza nas previsões, o que é útil em tarefas com dados limitados ou alto custo de erros.