Koji su problemi Sigmoid funkcije aktivacije? Gde se primenjuje i kako se tumači?

Sigmoid funkcija aktivacije ima oblik:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Ona pretvara bilo koju ulaznu vrijednost u raspon (0, 1), što je zgodno za interpretaciju kao vjerojatnost.

Problemi Sigmoid:

• Slabi gradijenti: Za velike vrijednosti ulaza, derivacija funkcije je blizu nule, što usporava učenje dubokih mreža.
• Nekontcentriranost: Izlaz je uvijek pozitivan, što može usporiti konvergenciju gradijentnog spusta.
• Zasićenje: Za velike pozitivne ili negativne vrijednosti, funkcija "zasićuje" i gradijenti postaju vrlo mali.

Primjena:

• Često se koristi u izlaznom sloju za zadatke binarne klasifikacije, gdje se izlaz interpretira kao vjerojatnost pripadnosti klasi.

Interpretacija:

Vrijednost funkcije može se shvatiti kao vjerojatnost da objekt pripada pozitivnoj klasi. Na primjer, izlaz 0.9 označava 90% vjerojatnosti.

Primjer u Pythonu:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # otprilike 0.88

U modernim dubokim mrežama često se preferira ReLU i njegove varijante zbog problema Sigmoid funkcije.