Batch normalizasyonu doğrulama sırasında istatistikleri güncelliyorsa hangi sorunlar ortaya çıkar?

Eğer batch normalization, doğrulama sırasında istatistikleri (ortalama ve varyans) güncelliyorsa, bu, doğrulama verilerinde normalizasyon parametrelerinin yanlış değerlendirilmesine yol açar. Sonuç olarak:

• Model, geçerli doğrulama partisine bağlı istatistikleri kullanacak, bu da doğrulama kümesinin bağımsızlık ilkesini ihlal eder.
• Doğrulama performansı istikrarsız hale gelebilir ve modelin gerçek genelleme yeteneğini yansıtmayabilir.
• Bu, modelin belirli doğrulama partilerine uyum sağlaması nedeniyle aşırı uyuma yol açabilir.

Bu nedenle, doğrulama sırasında genellikle eğitimden toplanan istatistikler sabitlenir ve güncellenmez, böylece model kalitesinin doğru bir şekilde değerlendirilmesi sağlanır.