Sigmoid aktivasyon fonksiyonunun sorunları nelerdir? Nerede kullanılır ve nasıl yorumlanır?

Sigmoid aktivasyon fonksiyonunun şekli:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Herhangi bir giriş değerini (0, 1) aralığına dönüştürür, bu da olasılık olarak yorumlamak için uygundur.

Sigmoid’in Problemleri:

• Azalan gradyanlar: Girişin büyük mutlak değerleri için fonksiyonun türevi sıfıra yakın olur, bu da derin ağların eğitimini yavaşlatır.
• Merkezsizleştirme: Çıkış her zaman pozitiftir, bu da gradyan inişinin yakınsamasını yavaşlatabilir.
• Doygunluk: Büyük pozitif veya negatif değerlerde fonksiyon "doyar" ve gradyanlar çok küçük hale gelir.

Uygulama:

• Sıklıkla ikili sınıflandırma görevleri için çıkış katmanında kullanılır, burada çıktı olasılık olarak yorumlanır.

Yorum:

Fonksiyonun değeri, nesnenin pozitif sınıfa ait olma olasılığı olarak alınabilir. Örneğin, 0.9 çıkışı %90 olasılığı gösterir.

Python’da kullanım örneği:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # yaklaşık 0.88

Günümüz derin ağlarda, Sigmoid sorunları nedeniyle ReLU ve varyantları tercih edilmektedir.