Kokios yra Sigmoid aktyvacijos funkcijos problemos? Kur ji taikoma ir kaip ją interpretuoti?

Sigmoid aktyvacijos funkcijos forma:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Ji paverčia bet kokią įėjimo reikšmę į intervalą (0, 1), kas yra patogu interpretacijai kaip tikimybė.

Sigmoid problemos:

• Sumažėjantys gradientai: Kai įėjimo reikšmės yra didelės, funkcijos išvestinė yra arti nulio, tai lėtina gilias tinklų mokymąsi.
• Nekoncentracija: Išėjimas visada teigiamas, tai gali sulėtinti gradientinio nusileidimo konvergenciją.
• Saturacija: Kai reikšmės yra didelės teigiamos arba neigiamos, funkcija "saturuoja" ir gradientai tampa labai maži.

Naudojimas:

• Dažnai naudojama išėjimo sluoksnyje binarinių klasifikacijų užduotims, kur išėjimas interpretuojamas kaip tikimybė priklausyti klasei.

Interpretacija:

Funkcijos reikšmė gali būti suvokiama kaip tikimybė, kad objektas priklauso teigiamai klasei. Pavyzdžiui, išėjimas 0.9 reiškia 90% tikimybę.

Python pavyzdys:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # maždaug 0.88

Šiuolaikinėse giliosiose tinkluose dažnai teikiama pirmenybė ReLU ir jos variantams dėl Sigmoid problemų.