Perché si utilizza la sigmoide nella classificazione binaria invece del softmax?

Per la classificazione binaria, si utilizza generalmente la funzione di attivazione sigmoide invece di softmax, per i seguenti motivi:

• Sigmoide trasforma un valore scalare in una probabilità di appartenenza a una delle due classi (valore tra 0 e 1). È naturale per la classificazione binaria, dove basta un singolo neurone di output.

• Softmax viene applicato per la classificazione multiclasse e normalizza il vettore di output in modo che la somma delle probabilità di tutte le classi sia uguale a 1. Per due classi, si può usare anche softmax, ma è ridondante, poiché le due uscite si completano a vicenda.

• L'uso di sigmoide con la funzione di perdita di entropia incrociata binaria è più semplice ed efficiente, poiché il modello impara a prevedere direttamente la probabilità della classe positiva.

• Softmax con due uscite richiede più parametri e calcoli, il che non è conveniente per un compito binario.

Esempio: la regressione logistica è un modello lineare con sigmoide in uscita, che predice la probabilità della classe 1.