Wat zijn Bayesian neural networks en hoe bereken je de posterior?

Bayesiaanse Neurale Netwerken (BNN) zijn neurale netwerken waarbij gewichten en parameters worden beschouwd als willekeurige variabelen met een voorafgaande verdeling. In plaats van vaste gewichten modelleren BNN onzekerheid in de parameters, waardoor probabilistische voorspellingen kunnen worden gedaan en het vertrouwen in het model kan worden geëvalueerd.

Het belangrijkste idee is het berekenen van de posteriorverdeling van de netwerkparameters ( p(\theta | D) ), waarbij ( \theta ) de parameters van het netwerk zijn en ( D ) de trainingsgegevens. Volgens de Bayes-formule:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) is de voorafgaande verdeling van de parameters.
• ( p(D | \theta) ) is de likelihoodfunctie (waarschijnlijkheid van de gegevens gegeven de parameters).
• ( p(D) ) is de normalisatieconstante (marginale waarschijnlijkheid van de gegevens).

Het exacte berekenen van de posterior is meestal onmogelijk vanwege de hoge dimensionaliteit en complexiteit van het model, daarom worden benaderingsmethoden gebruikt:

• Variatie-methoden (Variational Inference): benaderen de posteriorverdeling met een eenvoudigere functie, minimaliseren de Kullback-Leibler divergente.
• MCMC (Markov Chain Monte Carlo): steekproeven uit de posterior met behulp van stochastische methoden.
• Dropout als bayesiaanse benadering (MC Dropout).

Voorbeeld: de variational bayesiaanse aanpak definieert een parametrische verdeling ( q(\theta) ) en optimaliseert de parameters om ( p(\theta | D) ) te benaderen.

Op deze manier kunnen BNN onzekerheid in voorspellingen meenemen, wat nuttig is bij taken met beperkte data of hoge kosten van fouten.