Quali problemi possono verificarsi utilizzando la funzione di attivazione Sigmoid insieme a BatchNorm?

Utilizzando la funzione di attivazione Sigmoid insieme alla Normalizzazione del Batch, possono verificarsi i seguenti problemi:

• Compressione dei gradienti: Sigmoid comprime i valori di input nell'intervallo (0,1), il che può portare a un attenuazione dei gradienti, specialmente se gli input sono in regioni saturate della funzione (vicino a 0 o 1).

• Alterazione della distribuzione: BatchNorm normalizza gli input al livello, ma dopo l'applicazione di Sigmoid, la distribuzione diventa fortemente compressa e asimmetrica, il che può peggiorare l'apprendimento.

• Perdita dei vantaggi di BatchNorm: BatchNorm funziona meglio con attivazioni che hanno una media zero e un intervallo simmetrico (ad esempio ReLU o tanh). Tuttavia, Sigmoid sposta le uscite in un intervallo positivo, riducendo l'efficacia della normalizzazione.

Per questi motivi, si consiglia spesso di usare ReLU o altre funzioni di attivazione con BatchNorm, e di applicare Sigmoid all'output layer, se necessario (ad esempio, per la classificazione binaria).