Ce probleme pot apărea atunci când se utilizează funcția de activare Sigmoid împreună cu BatchNorm?

Atunci când se utilizează funcția de activare Sigmoid împreună cu Normalizarea pe loturi (Batch Normalization), pot apărea următoarele probleme:

• Comprimarea gradientelor: Sigmoid comprimă valorile de intrare în intervalul (0,1), ceea ce poate duce la dispariția gradientelor, mai ales dacă intrările se află în zone saturate ale funcției (aproape de 0 sau 1).

• Schimbarea distribuției: BatchNorm normalizează intrările la nivelul stratului, dar după aplicarea Sigmoid, distribuția devine puternic comprimată și asimetrică, ceea ce poate afecta învățarea.

• Pierdere a avantajelor BatchNorm: BatchNorm funcționează mai bine cu activări care au media zero și intervale simetrice (de exemplu, ReLU sau tanh). Cu toate acestea, Sigmoid deplasează ieșirile într-un interval pozitiv, reducând eficacitatea normalizării.

Din aceste motive, se recomandă adesea utilizarea ReLU sau a altor funcții de activare cu BatchNorm, iar Sigmoid să fie aplicat pe stratul de ieșire, dacă este necesar (de exemplu, pentru clasificarea binară).