Bayesian sinir ağları nedir ve posterior nasıl hesaplanır?

Bayesyen Sinir Ağları (BNN) — ağırlıklar ve parametreler öncelikli dağılım olarak rastgele değişkenler olarak kabul edilen sinir ağlarıdır. Sabit ağırlıklar yerine, BNN parametrelerdeki belirsizliği modelleyerek olasılıksal tahminler yapmayı ve modelin güvenilirliğini değerlendirmeyi sağlar.

Ana fikir, ağ parametrelerinin ( p(\theta | D) ) sonrası dağılımını hesaplamaktır; burada ( \theta ) ağın parametreleri ve ( D ) eğitim verileridir. Bayes formülü ile:

[ p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)} ]

• ( p(\theta) ) parametrelerin öncelikli dağılımıdır.
• ( p(D | \theta) ) olasılık fonksiyonudur (verilerin verilen parametrelerle olasılığı).
• ( p(D) ) normalizasyon sabitidir (verilerin marjinal olasılığı).

Doğru hesaplama genellikle yüksek boyut ve model karmaşıklığı nedeniyle mümkün değildir, bu yüzden yaklaşık yöntemler kullanılır:

• Varyasyonel yöntemler (Varyasyonel İnferans): posterior dağılımını daha basit bir fonksiyonla yaklaştırır, Kullback-Leibler ayrımını minimize eder.
• MCMC (Markov Zinciri Monte Carlo): stokastik yöntemlerle posteriordan örnekler alınır.
• Dropout, Bayesian yaklaşım olarak (MC Dropout).

Örnek: Varyasyonel Bayesian yaklaşım, parametrik bir dağılım ( q(\theta) ) tanımlar ve ( p(\theta | D) ) yaklaşımlamak için parametrelerini optimize eder.

Bu şekilde, BNN tahminlerdeki belirsizliği dikkate alabilir, bu da sınırlı veri veya yüksek hata maliyetleri olan görevlerde faydalıdır.