Welke problemen kunnen zich voordoen bij het gebruik van de Sigmoid-activatiefunctie samen met BatchNorm?

Bij het gebruik van de Sigmoid-activatiefunctie samen met Batch Normalization kunnen de volgende problemen optreden:

• Gradientencompressie: Sigmoid comprimeert de invoerwaarden in het bereik (0,1), wat kan leiden tot verdwijnende gradiënten, vooral als de invoer zich in verzadigde gebieden van de functie bevindt (dichtbij 0 of 1).

• Verandering van de verdeling: BatchNorm normaliseert de invoer naar de laag, maar na toepassing van Sigmoid wordt de verdeling sterk gecomprimeerd en asymmetrisch, wat het leren kan verslechteren.

• Verlies van voordelen van BatchNorm: BatchNorm werkt beter met activaties die een gemiddelde van nul en een symmetrisch bereik hebben (bijvoorbeeld ReLU of tanh). Sigmoid verschuift echter de uitgangen naar een positief bereik, wat de normalisatie-effectiviteit vermindert.

Om deze redenen wordt vaak aanbevolen om ReLU of andere activatiefuncties te gebruiken met BatchNorm, en Sigmoid alleen in de uitgangslaag toe te passen indien nodig (bijvoorbeeld voor binaire classificatie).