Waarom wordt de sigmoïde gebruikt voor binaire classificatie in plaats van softmax?

Voor binaire classificatie wordt meestal de sigmoid-activatiefunctie gebruikt in plaats van softmax, om de volgende redenen:

• Sigmoid zet een scalair waarde om in een waarschijnlijkheid dat het tot een van de twee klassen behoort (waarde tussen 0 en 1). Dit is natuurlijk voor binaire classificatie, waar slechts één outputneuron nodig is.

• Softmax wordt toegepast voor multiklassenclassificatie en normaliseert de outputvector zodat de som van de waarschijnlijkheden van alle klassen gelijk is aan 1. Voor twee klassen kan softmax ook worden gebruikt, maar dat is overbodig omdat de twee outputs elkaar aanvullen.

• Het gebruik van sigmoid met de binary cross-entropy verliesfunctie is eenvoudiger en efficiënter, omdat het model direct leert de waarschijnlijkheid van de positieve klasse te voorspellen.

• Softmax met twee outputs vereist meer parameters en berekeningen, wat niet praktisch is voor een binaire taak.

Voorbeeld: logistieke regressie is een lineair model met sigmoid aan de uitgang, dat de waarschijnlijkheid van klasse 1 voorspelt.