Какви са проблемите на функцията за активиране Sigmoid? Къде се прилага и как се интерпретира?

Функцията на активация Sigmoid има вид:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Тя преобразува всяка входна стойност в диапазон (0, 1), което е удобно за интерпретация като вероятност.

Проблеми на Sigmoid:

• Затихващи градиенти: При големи по абсолютна стойност входни стойности, производната на функцията е близо до нула, което забавя обучението на дълбоки мрежи.
• Некентрираност: Изходът винаги е положителен, което може да забави сходимостта на градиентния спуск.
• Насищане: При големи положителни или отрицателни стойности функцията "наситва", а градиентите стават много малки.

Приложение:

• Често се използва на изходния слой за задачи по бинарна класификация, където изходът се интерпретира като вероятност за принадлежност към клас.

Интерпретация:

Стойността на функцията може да се възприема като вероятност обектът да принадлежи към положителния клас. Например, изход 0.9 означава 90% вероятност.

Пример за използване в Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # приблизително 0.88

В съвременните дълбоки мрежи често предпочитат ReLU и нейните варианти поради проблемите на Sigmoid.