Почему для бинарной классификации используют сигмоиду, а не софтмакс?

Для бинарной классификации обычно используют сигмоидную функцию активации, а не софтмакс, по следующим причинам:

• Сигмоида преобразует скалярное значение в вероятность принадлежности к одному из двух классов (значение от 0 до 1). Это естественно для бинарной классификации, где достаточно одной выходной нейроны.

• Софтмакс применяется для многоклассовой классификации и нормирует вектор выходов так, чтобы сумма вероятностей по всем классам была равна 1. Для двух классов софтмакс тоже можно использовать, но это избыточно, так как два выхода взаимно дополняют друг друга.

• Использование сигмоиды с функцией потерь бинарной кросс-энтропии проще и эффективнее, так как модель учится напрямую предсказывать вероятность положительного класса.

• Софтмакс с двумя выходами требует больше параметров и вычислений, что нецелесообразно для бинарной задачи.

Пример: логистическая регрессия — это линейная модель с сигмоидой на выходе, которая предсказывает вероятность класса 1.