Czym są sieci neuronowe bayesowskie i jak obliczyć posterior?

Sieci neuronowe Bayesowskie (BNN) to sieci neuronowe, w których wagi i parametry są traktowane jako zmienne losowe z rozkładem a priori. Zamiast stałych wag, BNN modelują niepewność w parametrach, co pozwala na uzyskanie predykcji probabilistycznych i ocenę pewności modelu.

Główny pomysł polega na obliczeniu rozkładu posteriora parametrów sieci ( p(\theta | D) ), gdzie ( \theta ) to parametry sieci, a ( D ) to dane treningowe. Zgodnie z wzorem Bayesa:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) to rozkład a priori parametrów.
• ( p(D | \theta) ) to funkcja wiarygodności (prawdopodobieństwo danych przy danych parametrach).
• ( p(D) ) to stała normalizacyjna (marginalne prawdopodobieństwo danych).

Obliczenie dokładne rozkładu posteriora jest zwykle niemożliwe ze względu na wysoką wymiarowość i złożoność modelu, dlatego stosuje się metody przybliżone:

• Metody variationalne (Wnioskowanie wariacyjne): przybliżają rozkład posteriora za pomocą prostszej funkcji, minimalizując dywergencję Kullbacka-Leiblera.
• MCMC (Markov Chain Monte Carlo): próbki z posteriora za pomocą metod stochastycznych.
• Dropout jako przybliżenie bayesowskie (MC Dropout).

Przykład: podejście bayesowskie wariacyjne definiuje rozkład parametryczny ( q(\theta) ) i optymalizuje jego parametry, aby przybliżyć ( p(\theta | D) ).

W ten sposób, BNN pozwalają uwzględnić niepewność w predykcjach, co jest przydatne w zadaniach z ograniczonymi danymi lub wysokimi kosztami błędów.