Was sind Bayesian Neural Networks und wie berechnet man den Posterior?

Bayessche Neuronale Netze (BNN) sind neuronale Netze, bei denen Gewichte und Parameter als Zufallsvariablen mit einer a priori Verteilung betrachtet werden. Anstelle fester Gewichte modellieren BNN Unsicherheiten in den Parametern, was probabilistische Vorhersagen ermöglicht und die Vertrauenswürdigkeit des Modells bewertet.

Die Hauptidee ist die Berechnung der a posteriori Verteilung der Netzparameter ( p(\theta | D) ), wobei ( \theta ) die Netzparameter und ( D ) die Trainingsdaten sind. Nach der Bayes'schen Formel:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) ist die a priori Verteilung der Parameter.
• ( p(D | \theta) ) ist die Likelihood-Funktion (Wahrscheinlichkeit der Daten bei gegebenen Parametern).
• ( p(D) ) ist die Normalisierungs-Konstante (marginale Wahrscheinlichkeit der Daten).

Die exakte Berechnung der Posterior ist meist unmöglich aufgrund hoher Dimensionalität und Modellkomplexität, daher werden approximative Methoden angewandt:

• Variationale Methoden (Variational Inference): nähern die a posteriori Verteilung mit einer einfacheren Funktion an, minimieren die Kullback-Leibler-Divergenz.
• MCMC (Markov Chain Monte Carlo): Stichproben aus der Posterior mittels stochastischer Methoden.
• Dropout als bayesianische Approximation (MC Dropout).

Beispiel: Der variationale bayessche Ansatz definiert eine parametrische Verteilung ( q(\theta) ) und optimiert deren Parameter, um ( p(\theta | D) ) zu approximieren.

Auf diese Weise ermöglichen BNN die Berücksichtigung der Unsicherheit in den Vorhersagen, was bei Aufgaben mit begrenzten Daten oder hohen Fehlerkosten nützlich ist.