Welche Probleme hat die Sigmoid-Aktivierungsfunktion? Wo wird sie angewendet und wie wird sie interpretiert?

Die Sigmoid-Aktivierungsfunktion hat die Form:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Sie wandelt jeden Eingabewert in den Bereich (0, 1) um, was praktisch ist, um ihn als Wahrscheinlichkeit zu interpretieren.

Probleme der Sigmoid-Funktion:

• Abklingende Gradienten: Bei großen Beträgen der Eingabewerte ist die Ableitung der Funktion nahe bei null, was das Training tiefer Netzwerke verlangsamt.
• Nicht zentriert: Der Ausgang ist immer positiv, was die Konvergenz des Gradientenabstiegs verlangsamen kann.
• Sättigung: Bei großen positiven oder negativen Werten "sättigt" die Funktion, und die Gradienten werden sehr klein.

Anwendung:

• Wird häufig in der Ausgabeschicht für binäre Klassifikationsaufgaben verwendet, wobei die Ausgabe als Wahrscheinlichkeit für die Zugehörigkeit zu einer Klasse interpretiert wird.

Interpretation:

Der Funktionswert kann als Wahrscheinlichkeit interpretiert werden, dass ein Objekt zur positiven Klasse gehört. Zum Beispiel bedeutet eine Ausgabe von 0.9 eine 90%ige Wahrscheinlichkeit.

Beispiel in Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # ungefähr 0.88

In modernen tiefen Netzwerken werden oft ReLU und ihre Varianten bevorzugt, aufgrund der Probleme mit der Sigmoid-Funktion.