Kāpēc binārajai klasifikācijai izmanto sigmoidu, nevis softmax?

Bīžķeršas klasifikācijai parasti izmanto sigmoīda aktivācijas funkciju, ne softmax, šādu iemeslu dēļ:

• Sigmoīda pārvērš skala vērtību par varbūtību, ka tā pieder vienai no divām klasēm (vērtība no 0 līdz 1). Tas ir dabiski binārajai klasifikācijai, kur pietiek ar vienu izejas neironu.

• Softmax tiek izmantots daudzklasēm un normalizē izejas vektoru tā, lai visu klasu varbūtību summa būtu 1. Divām klasēm softmax arī var tikt izmantots, bet tas ir lieki, jo divi izejumi papildina viens otru.

• Sigmoīda izmantošana ar bināro krustās entropijas zaudējuma funkciju ir vienkāršāka un efektīvāka, jo modelis tieši mācas prognozēt pozitīvās klases varbūtību.

• Softmax ar diviem izejumiem prasa vairāk parametru un aprēķinu, kas nav piemērots binārai uzdevumam.

Piemērs: loģistiskā regresija ir lineārs modelis ar sigmoīdu, kas prognozē klases 1 varbūtību.