Jaké problémy mohou nastat při použití aktivační funkce Sigmoid spolu s BatchNorm?

Při použití aktivační funkce Sigmoid spolu s Batch Normalization mohou nastat následující problémy:

• Stlačení gradientů: Sigmoid stlačuje vstupní hodnoty do rozmezí (0,1), což může vést k vymizení gradientů, zejména pokud jsou vstupy v saturovaných oblastech funkce (blízko 0 nebo 1).

• Změna rozdělení: BatchNorm normalizuje vstupy do vrstvy, ale po použití Sigmoid se rozdělení stává silně stlačené a asymetrické, což může zhoršit učení.

• Ztráta výhod BatchNorm: BatchNorm lépe funguje s aktivacemi, které mají nulový průměr a symetrické rozmezí (například ReLU nebo tanh). Sigmoid však posouvá výstupy do kladného rozmezí, což snižuje účinnost normalizace.

Z těchto důvodů se často doporučuje používat ReLU nebo jiné aktivační funkce s BatchNorm a Sigmoid aplikovat na výstupní vrstvě, pokud je to nutné (například pro binární klasifikaci).