¿Qué son las redes neuronales bayesianas y cómo calcular el posterior?

Las Redes Neuronales Bayesianas (BNN) son redes neuronales en las que los pesos y parámetros se consideran variables aleatorias con una distribución a priori. En lugar de pesos fijos, BNN modelan la incertidumbre en los parámetros, lo que permite obtener predicciones probabilísticas y evaluar la confianza del modelo.

La idea principal es calcular la distribución posterior de los parámetros de la red ( p(\theta | D) ), donde ( \theta ) son los parámetros de la red y ( D ) los datos de entrenamiento. Según la fórmula de Bayes:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) es la distribución a priori de los parámetros.
• ( p(D | \theta) ) es la función de verosimilitud (probabilidad de los datos dado los parámetros).
• ( p(D) ) es la constante de normalización (probabilidad marginal de los datos).

El cálculo exacto de la posterior suele ser inviable debido a la alta dimensionalidad y complejidad del modelo, por lo que se emplean métodos aproximados:

• Métodos variacionales (Inferencia Variacional): aproximan la distribución posterior con una función más sencilla, minimizando la divergencia de Kullback-Leibler.
• MCMC (Cadena de Markov Monte Carlo): muestreo de la posterior mediante métodos estocásticos.
• Dropout como aproximación bayesiana (MC Dropout).

Ejemplo: el enfoque bayesiano variacional define una distribución paramétrica ( q(\theta) ) y optimiza sus parámetros para aproximar ( p(\theta | D) ).

De esta forma, BNN permiten tener en cuenta la incertidumbre en las predicciones, lo cual es útil en tareas con datos limitados o con alto costo de errores.