Kādi ir Sigmoid aktivizācijas funkcijas trūkumi? Kur tā tiek izmantota un kā to interpretēt?

Sigmoid aktivācijas funkcijas forma ir:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Tā pārveido jebkuru ievades vērtību diapazonā (0, 1), kas ir ērti interpretēt kā varbūtību.

Sigmoid problēmas:

• Samazinājoši gradienti: Ja ievades vērtības ir lielas, funkcijas atvasne ir tuvu nullei, kas palēnina dziļo tīklu apmācību.
• Nepārvietots centrā: Izvade vienmēr ir pozitīva, kas var palēnināt gradienta krituma konverģenci.
• Aizsēršana: Ja vērtības ir lielas pozitīvas vai negatīvas, funkcija "aizsērē" un gradienti kļūst ļoti mazi.

Lietojums:

• Bieži tiek izmantota iznākuma slānī bināro klasifikācijas uzdevumiem, kur iznākums interpretēts kā varbūtība piederēt klasei.

Interpretācija:

Funkcijas vērtība var tikt uztverta kā varbūtība, ka objekts pieder pozitīvai klasei. Piemēram, iznākums 0.9 nozīmē 90% varbūtību.

Python piemērs:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # apmēram 0.88

Mūsdienu dziļajās tīklās bieži tiek izvēlēts ReLU un tā varianti, ņemot vērā Sigmoid problēmas.