Sigmoid активтештирүү функциясы менен BatchNorm колдонууда кандай көйгөйлөр пайда болушу мүмкүн?

Sigmoid активизациялык функциясы менен Batch Normalization бирге колдонулганда төмөнкү көйгөйлөр пайда болушу мүмкүн:

• Градиенттердин кысылышы: Sigmoid кирүү маанилерин (0,1) аралыгында кысуучу, бул функциянын насыяланган аймактарында (0 же 1 жакын) градиенттердин жоголушуна алып келиши мүмкүн.

• Таразылуунун өзгөрүшү: BatchNorm катарга кирүүчүлөрдү нормалдаштырат, бирок Sigmoid колдонулгандан кийин таразылуу күчөп, асимметриялуу болуп калат, бул үйрөнүүнү кыйындатат.

• BatchNormдун артыкчылыктарынын жоготулушу: BatchNorm нөлдүк орточо мааниси жана симметриялуу диапазону бар активаторлор менен жакшы иштейт (мисалы, ReLU же tanh). Бирок, Sigmoid чыгыштарды оң жакка жылдырып, нормалдаштыруу натыйжалуулугун төмөндөтөт.

Ошондуктан, көбүнчө ReLU же башка активаторлор менен BatchNorm колдонуу сунушталат, жана Sigmoid чыгуу катмарына колдонулат, эгер керек болсо (мисалы, бинардык классификация үчүн).