Wat zijn de problemen van de Sigmoid-activatiefunctie? Waar wordt deze toegepast en hoe wordt deze geïnterpreteerd?

De Sigmoid-activatiefunctie heeft de volgende vorm:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Ze zet elke invoerwaarde om in het bereik (0, 1), wat handig is om te interpreteren als een waarschijnlijkheid.

Problemen van Sigmoid:

• Afnemende gradiënten: Voor grote in-waardes in absolute waarde is de afgeleide van de functie dicht bij nul, wat het trainen van diepe netwerken vertraagt.
• Niet gecentreerd: De output is altijd positief, wat de convergentie van gradient descent kan vertragen.
• Verzadiging: Bij grote positieve of negatieve waarden "verzadigt" de functie, en worden de gradiënten zeer klein.

Toepassing:

• Wordt vaak gebruikt in de outputlaag voor binaire classificatietaken, waarbij de output wordt geïnterpreteerd als een waarschijnlijkheid van lidmaatschap aan een klasse.

Interpretatie:

De waarde van de functie kan worden geïnterpreteerd als de waarschijnlijkheid dat een object tot de positieve klasse behoort. Bijvoorbeeld, een output van 0.9 betekent 90% waarschijnlijkheid.

Voorbeeld in Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # ongeveer 0.88

In moderne diepe netwerken worden vaak ReLU en varianten ervan geprefereerd vanwege de problemen met Sigmoid.