Care sunt problemele funcției de activare Sigmoid? Unde este utilizată și cum este interpretată?

Funcția de activare Sigmoid are forma:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Transformă orice valoare de intrare în intervalul (0, 1), ceea ce este convenabil pentru interpretare ca probabilitate.

Probleme ale Sigmoidului:

• Gradienți care se atenuează: Pentru valori mari în modul ale intrării, derivata funcției este aproape de zero, ceea ce încetinește învățarea rețelelor profunde.
• Necentrare: Ieșirea este întotdeauna pozitivă, ceea ce poate încetini convergența gradientului descendent.
• Saturare: Pentru valori mari pozitive sau negative, funcția "se saturează" și gradientii devin foarte mici.

Aplicare:

• Este frecvent utilizată în stratul de ieșire pentru sarcini de clasificare binară, unde ieșirea este interpretată ca probabilitate de apartenență la o clasă.

Interpretare:

Valoarea funcției poate fi percepută ca probabilitatea ca un obiect să aparțină clasei pozitive. De exemplu, o ieșire de 0.9 indică o probabilitate de 90%.

Exemplu de utilizare în Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # aproximativ 0.88

În rețelele profunde moderne, se preferă adesea ReLU și variantele sale din cauza problemelor Sigmoidului.