Sigmoid aktivləşdirmə funksiyasının problemləri nədir? Harada tətbiq olunur və necə şərh olunur?

Sigmoid aktivasiya funksiyasının forması:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Hər hansı giriş dəyərini (0, 1) aralığına çevirir, bu da ehtimal kimi şərh etmək üçün əlverişlidir.

Sigmoid-in problemləri:

• Azalan gradientlər: Girişin böyük modulları üçün funksiyanın törəməsi sıfıra yaxın olur, bu da dərin şəbəkələrin öyrənməsini yavaşladır.
• Mərkəzləşməmə: Çıxış həmişə müsbətdir, bu da gradient enişinin yaxınlaşmasını yavaşlada bilər.
• Doğrulma: Böyük müsbət və ya mənfi dəyərlərdə funksiya "doyur" və gradientlər çox kiçik olur.

Tətbiq:

• Çox vaxt ikili təsnifat tapşırıqları üçün çıxış qatında istifadə olunur, burada çıxış sinfə aidiyyət ehtimalı kimi şərh edilir.

İzah:

Funksiya dəyəri obyektin müsbət sinfə aid olma ehtimalı kimi qəbul edilə bilər. Məsələn, 0.9 çıxışı 90% ehtimalı göstərir.

Python-da istifadə nümunəsi:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # təxminən 0.88

Müasir dərin şəbəkələrdə, Sigmoid problemləri səbəbindən ReLU və onun variantları üstün tutulur.