Milyen problémák vannak a Sigmoid aktivációs függvénnyel? Hol alkalmazzák és hogyan értelmezik?

A Sigmoid aktivációs függvény alakja:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Bármilyen bemeneti értéket (0, 1) tartományba alakít át, ami kényelmes a valószínűségként való értelmezéshez.

A Sigmoid problémái:

• Elhalványuló gradiens: Nagy abszolút értékű bemeneti értékek esetén a függvény deriváltja közelít a nullához, ami lassítja a mély hálók tanulását.
• Nem központi: A kimenet mindig pozitív, ami lassíthatja a gradiens csökkenésének konvergenciáját.
• Elérzáródás: Nagy pozitív vagy negatív értékeknél a függvény "eléri a telítettséget", és a gradiens nagyon kicsi lesz.

Alkalmazás:

• Gyakran használják kimeneti rétegben bináris osztályozási feladatokhoz, ahol a kimenet valószínűségként értelmezhető.

Értelmezés:

A függvény értéke a tárgy pozitív osztályhoz tartozásának valószínűségét jelenti. Például, a 0.9 kimenet 90%-os valószínűséget jelent.

Python példával:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # kb. 0.88

A modern mély hálózatokban gyakran preferálják a ReLU-t és változatait a Sigmoid problémái miatt.