Qual é o papel da função de ativação numa rede neural?

A função de ativação numa rede neural é responsável por introduzir não linearidade no modelo. Sem ela, a rede neural seria simplesmente uma combinação linear de entradas, o que limitava a sua capacidade de modelar dependências complexas.

Principais funções da função de ativação:

• Não linearidade: permite que a rede aprenda e aproxime funções complexas.
• Resolução de tarefas de classificação ou regressão: por exemplo, a sigmoide limita a saída na faixa [0,1], o que é conveniente para probabilidades.
• Controle de gradientes: algumas funções ajudam a evitar problemas com gradientes que desaparecem ou explodem.

Exemplos de funções de ativação populares:

• ReLU (Unidade Linear Retificada): f(x) = max(0, x)
• Sigmoide: f(x) = 1 / (1 + exp(-x))
• tanh: f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

Sem a função de ativação, a rede neural não poderá aprender de forma eficiente nem resolver tarefas complexas.