Sigmoid aktivləşdirmə funksiyası ilə BatchNorm istifadə edilərkən hansı problemlər yarana bilər?

Sigmoid aktivasiya funksiyasını Batch Normalization ilə birlikdə istifadə edərkən aşağıdakı problemlər yarana bilər:

• Gradientlərin sıxılması: Sigmoid giriş dəyərlərini (0,1) aralığında sıxışdırır, bu da xüsusən girişlər funksiyanın doymuş bölgələrində (0 və ya 1 yaxınlarında) olduqda gradientlərin yox olmasına səbəb ola bilər.

• Paylamanın pozulması: BatchNorm qatara daxil olanları normallaşdırır, lakin Sigmoid tətbiq edildikdən sonra paylama çox sıxışmış və asimmetrik olur, bu da öyrənməni çətinləşdirə bilər.

• BatchNorm-un üstünlüklərinin itirilməsi: BatchNorm sıfır orta və simmetrik diapazonu olan aktivasiyalarla (məsələn, ReLU və ya tanh) daha yaxşı işləyir. Ancaq Sigmoid çıxışları müsbət diapona köçürür, bu da normalizasiyanın effektivliyini azaldır.

Bu səbəbdən, çox vaxt ReLU və ya digər aktivasiya funksiyalarını BatchNorm ilə istifadə etmək və lazım gəldikdə (məsələn, ikili təsnifat üçün) Sigmoid-u çıxış qatında tətbiq etmək tövsiyə olunur.