Por que usar a sigmoide na classificação binária em vez do softmax?

Para a classificação binária, geralmente usa-se a função de ativação sigmóide em vez de softmax, pelos seguintes motivos:

• Sigmóide converte um valor escalar em uma probabilidade de pertença a uma das duas classes (valor de 0 a 1). Isso é natural para classificação binária, onde basta uma única neurona de saída.

• Softmax é aplicado para classificação multiclasse e normaliza o vetor de saídas de modo que a soma das probabilidades de todas as classes seja igual a 1. Para duas classes, o softmax também pode ser usado, mas é redundante, pois as duas saídas se complementam mutuamente.

• O uso de sigmóide com a função de perda de entropia cruzada binária é mais simples e eficiente, pois o modelo aprende a prever diretamente a probabilidade da classe positiva.

• Softmax com duas saídas requer mais parâmetros e cálculos, o que não é conveniente para uma tarefa binária.

Exemplo: regressão logística é um modelo linear com sigmóide na saída, que prevê a probabilidade da classe 1.