Защо при бинарна класификация използваме сигмоидата, а не софтмакс?

За бинарна класификация обикновено се използва сигмоидната функция за активиране, а не софтмакс, по следните причини:

• Сигмоид преобразува скаларна стойност в вероятност за принадлежност към една от двете класи (стойност от 0 до 1). Това е естествено за бинарната класификация, където е достатъчно една изходна невронна единица.

• Софтмакс се прилага за многокласова класификация и нормализира вектора на изходите така, че сумата на вероятностите за всички класове да е равна на 1. За две класи, софтмакс също може да се използва, но е излишно, тъй като двата изхода се допълват взаимно.

• Използването на сигмоидата с функцията на загуба на бинарна крос-ентропия е по-просто и по-ефективно, тъй като моделът учи директно да предсказва вероятността за положителната класа.

• Софтмакс с два изхода изисква повече параметри и изчисления, което не е целесъобразно за бинарна задача.

Пример: логистичната регресия е линейен модел с сигмоидна функция на изхода, който предсказва вероятността за класа 1.