Jakie problemy mogą wystąpić podczas korzystania z funkcji aktywacji Sigmoid razem z BatchNorm?

Podczas korzystania z funkcji aktywacji Sigmoid razem z Normalizacją Partii (Batch Normalization) mogą wystąpić następujące problemy:

• Kompresja gradientów: Sigmoid kompresuje wartości wejściowe w zakres (0,1), co może prowadzić do zaniku gradientów, szczególnie jeśli wejścia znajdują się w obszarach nasycenia funkcji (blisko 0 lub 1).

• Zaburzenie rozkładu: BatchNorm normalizuje wejścia do warstwy, ale po zastosowaniu Sigmoid rozkład staje się silnie skompresowany i niesymetryczny, co może pogorszyć uczenie się.

• Utrata zalet BatchNorm: BatchNorm działa lepiej z aktywacjami, które mają średnią zero i symetryczny zakres (np. ReLU lub tanh). Sigmoid przesuwa jednak wyjścia w zakres dodatni, co obniża skuteczność normalizacji.

Z tych powodów często zaleca się używanie ReLU lub innych funkcji aktywacji z BatchNorm, a Sigmoid stosować na warstwie wyjściowej, gdy jest to konieczne (np. dla klasyfikacji binarnej).