Aké sú problémy aktivačnej funkcie Sigmoid? Kde sa používa a ako sa interpretuje?

Sigmoidná aktivačná funkcia má tvar:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Prevedie akúkoľvek vstupnú hodnotu do rozsahu (0, 1), čo je vhodné na interpretáciu ako pravdepodobnosť.

Problémy Sigmoidu:

• Vymiznuté gradienty: Pri veľkých hodnotách vstupu je derivácia funkcie blízko nuly, čo spomaľuje učenie hlbokých sietí.
• Nezentrovanosť: Výstup je vždy kladný, čo môže spomaliť konvergenciu gradientného zostupu.
• Saturácia: Pri veľkých pozitívnych alebo negatívnych hodnotách sa funkcia "saturuje" a gradienty sú veľmi malé.

Použitie:

• Často sa používa na výstupnej vrstve pre úlohy binárnej klasifikácie, kde je výstup interpretovaný ako pravdepodobnosť prislúchania ku triede.

Interpretácia:

Hodnota funkcie môže byť vnímaná ako pravdepodobnosť, že objekt patrí do pozitívnej triedy. Napríklad výstup 0.9 znamená 90% pravdepodobnosť.

Príklad v Pythone:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # približne 0.88

V moderných hlbokých sieťach sa často preferuje ReLU a jej varianty kvôli problémom Sigmoidu.