Warum wird bei binärer Klassifikation die Sigmoidfunktion anstelle von Softmax verwendet?

Für binäre Klassifikation wird in der Regel die Sigmoid-Aktivierungsfunktion anstelle von Softmax verwendet, aus folgenden Gründen:

• Sigmoid wandelt einen skalaren Wert in eine Wahrscheinlichkeit für die Zugehörigkeit zu einer der beiden Klassen um (Wert zwischen 0 und 1). Das ist natürlich für die binäre Klassifikation, bei der nur ein Ausgangsneuron ausreichend ist.

• Softmax wird für die Mehrklassenklassifikation verwendet und normalisiert den Ausgabvektor, sodass die Summe der Wahrscheinlichkeiten aller Klassen 1 ergibt. Für zwei Klassen kann auch Softmax verwendet werden, ist aber redundant, da die beiden Ausgänge sich gegenseitig ergänzen.

• Die Verwendung von Sigmoid mit der binären Kreuzentropie-Verlustfunktion ist einfacher und effizienter, da das Modell direkt lernt, die Wahrscheinlichkeit der positiven Klasse vorherzusagen.

• Softmax mit zwei Ausgängen erfordert mehr Parameter und Berechnungen, was für eine binäre Aufgabe nicht zweckmäßig ist.

Beispiel: Logistische Regression ist ein lineares Modell mit Sigmoid-Ausgang, das die Wahrscheinlichkeit der Klasse 1 vorhersagt.