Yapay sinir ağlarındaki hangi katmanlar eğitim ve çıkarım sırasında farklı davranır (Dropout, BatchNorm vb.)?

Bazı sinir ağı katmanları eğitim (train) ve çıkarım (inference) aşamalarında farklı davranır:

• Dropout: eğitim sırasında rastgele olarak bazı nöronları devre dışı bırakır, böylece aşırı uyumu önler; çıkarım sırasında ise tüm nöronlar aktiftir ve çıkışlar telafi için ölçeklenir.
• Batch Normalization (BatchNorm): eğitim sırasında, katmanın girişlerini mevcut yüke göre normalize eder, istatistikleri (ortalama ve varyans) günceller; çıkarım sırasında ise, stabilite için toplanan istatistikleri kullanır.

Bu şekilde, bu katmanlar davranışlarını uyarlayarak daha iyi eğitim ve tahmin sırasında modelin doğru çalışmasını sağlar.