Quais são os problemas da função de ativação Sigmoid? Onde ela é aplicada e como é interpretada?

A função de ativação Sigmoid tem a seguinte forma:

[ \sigma(x) = \frac{1}{1 + e^{-x}} ]

Ela converte qualquer valor de entrada para o intervalo (0, 1), o que é conveniente para interpretá-lo como uma probabilidade.

Problemas do Sigmoid:

• Gradientes que se atenuam: Para valores de entrada grandes em magnitude, a derivada da função é próxima de zero, o que desacelera o treinamento de redes profundas.
• Não centrado: A saída é sempre positiva, o que pode retardar a convergência do descenso do gradiente.
• Saturação: Para valores positivos ou negativos grandes, a função "satura", e os gradientes tornam-se muito pequenos.

Aplicação:

• Frequentemente usada na camada de saída para tarefas de classificação binária, onde a saída é interpretada como a probabilidade de pertencimento a uma classe.

Interpretação:

O valor da função pode ser interpretado como a probabilidade de um objeto pertencer à classe positiva. Por exemplo, uma saída de 0.9 indica 90% de probabilidade.

Exemplo de uso em Python:

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

output = sigmoid(2.0)  # aproximadamente 0.88

Em redes profundas modernas, muitas vezes preferem ReLU e suas variantes devido aos problemas do Sigmoid.