Aké problémy môžu nastať pri použití aktivačnej funkcie Sigmoid spolu s BatchNorm?

При употреби Sigmoid активирацие функције заједно са Batch Normalization могу се јавити следећи проблеми:

• Сжимање градијената: Sigmoid стисне улазне вредности у опсег (0,1), што може довести до нестанка градијената, посебно ако су улази у засићеним областима функције (близу 0 или 1).

• Промена расподеле: BatchNorm нормализује улазе слоју, али након примене Sigmoid расподела постаје снажно стиснута и асиметрична, што може погоршати учење.

• Губитак предности BatchNorm: BatchNorm боље функционише са активирацијама које имају нулту средњу вредност и симетрични опсег (нпр. ReLU или tanh). Међутим, Sigmoid помера излазе у позитиван опсег, што смањује ефикасност нормализације.

Због ових разлога често се препоручује коришћење ReLU или других активирационих функција са BatchNorm, а Sigmoid применити на излазном слоју, ако је потребно (нпр. за бинарну класификацију).