Какие проблемы у функции активации Sigmoid? Где она применяется и как интерпретируется?

Функция активации Sigmoid имеет вид:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Она преобразует любое входное значение в диапазон (0, 1), что удобно для интерпретации как вероятность.

Проблемы Sigmoid:

• Затухающие градиенты: При больших по модулю значениях входа производная функции близка к нулю, что замедляет обучение глубоких сетей.
• Нецентрированность: Выход всегда положителен, что может замедлять сходимость градиентного спуска.
• Насыщение: При больших положительных или отрицательных значениях функция «насыщается», градиенты становятся очень малыми.

Применение:

• Часто используется на выходном слое для задач бинарной классификации, где выход интерпретируется как вероятность принадлежности к классу.

Интерпретация:

Значение функции можно воспринимать как вероятность принадлежности объекта к положительному классу. Например, выход 0.9 означает 90% вероятность.

Пример использования в Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # примерно 0.88

В современных глубоких сетях часто предпочитают ReLU и её варианты из-за проблем Sigmoid.