Qu'est-ce que les réseaux neuronaux bayésiens et comment calculer le posterior?

Les réseaux neuronaux bayésiens (BNN) sont des réseaux neuronaux dans lesquels les poids et paramètres sont considérés comme des variables aléatoires avec une distribution a priori. Au lieu de poids fixes, les BNN modélisent l’incertitude dans les paramètres, ce qui permet d’obtenir des prédictions probabilistes et d’évaluer la confiance du modèle.

L’idée principale est de calculer la distribution a posteriori des paramètres du réseau ( p(\theta | D) ), où ( \theta ) sont les paramètres du réseau et ( D ) les données d’entraînement. Selon la formule de Bayes :

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) est la distribution a priori des paramètres.
• ( p(D | \theta) ) est la fonction de vraisemblance (probabilité des données donnée les paramètres).
• ( p(D) ) est la constante de normalisation (probabilité marginale des données).

Le calcul exact de la postérieure est généralement impossible en raison de la haute dimensionnalité et de la complexité du modèle, c’est pourquoi des méthodes approximatives sont utilisées :

• Méthodes variationnelles (Inférence variationnelle) : approchent la distribution a posteriori par une fonction plus simple, en minimisant la divergence de Kullback-Leibler.
• MCMC (Chaîne de Markov Monte Carlo) : échantillonnage de la postérieure à l’aide de méthodes stochastiques.
• Dropout comme approximation bayésienne (MC Dropout).

Exemple : l’approche bayésienne variationnelle définit une distribution paramétrique ( q(\theta) ) et optimise ses paramètres pour approcher ( p(\theta | D) ).

Ainsi, les BNN permettent de prendre en compte l’incertitude dans les prédictions, ce qui est utile dans les tâches avec des données limitées ou un coût élevé d’erreurs.