Millised on Sigmoid aktivatsioonifunktsiooni probleemid? Kus seda kasutatakse ja kuidas seda tõlgendada?

Sigmoid aktivatsioonifunktsiooni kuju on:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

See muundab mis tahes sisendväärtuse vahemikku (0, 1), mis on mugav tõlgendada tõenäosusena.

Sigmoid'i probleemid:

• Kahanenud gradientid: Kui sisendväärtused on suuremad, on funktsiooni tuletis lähedal nullile, mis aeglustab sügavate võrkude õppimist.
• Mittetsentritus: Väljund on alati positiivne, mis võib aeglustada gradientlanguse konvergentsi.
• Saturatsioon: Kui väärtused on suuremad positiivsed või negatiivsed, "saturerib" funktsioon ja gradientid muutuvad väga väikesteks.

Rakendus:

• Sageli kasutatakse väljakihtides binaarsete klassifikatsioonide ülesannetes, kus väljundit tõlgendatakse klassi kuuluvusena tõenäosusena.

Tõlgendus:

Funktsiooni väärtust võib tajuda objekti kuuluvusena positiivsele klassile. Näiteks väljund 0.9 tähendab 90% tõenäosust.

Python näide:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # umbes 0.88

Kaasaegsetes sügavatel võrkudel eelistatakse sageli ReLU-d ja selle variante Sigmoid'i probleemide tõttu.