Γιατί χρησιμοποιούμε τη σιγμοειδή στη δυαδική ταξινόμηση αντί για softmax;

Για την δυαδική ταξινόμηση, συνήθως χρησιμοποιείται η λειτουργία ενεργοποίησης σιγμοειδούς αντί για softmax, για τους εξής λόγους:

• Σιγμοειδής μετατρέπει μια scalar τιμή σε μια πιθανότητα ότι ανήκει σε μία από τις δύο κλάσεις (τιμή από 0 έως 1). Αυτό είναι φυσικό για τη δυαδική ταξινόμηση, όπου αρκεί ένα μόνο νευρώνα εξόδου.

• Softmax εφαρμόζεται για πολυκατηγορική ταξινόμηση και κανονικοποιεί το διάνυσμα εξόδων έτσι ώστε το άθροισμα των πιθανοτήτων όλων των κλάσεων να είναι ίσο με 1. Για δύο κλάσεις, το softmax μπορεί επίσης να χρησιμοποιηθεί, αλλά είναι περιττό, καθώς οι δύο έξοδοι συμπληρώνουν η μία την άλλη.

• Η χρήση σιγμοειδούς με τη λειτουργία απώλειας διασταυρούμενης εντροπίας για δυαδική ταξινόμηση είναι πιο απλή και αποδοτική, καθώς το μοντέλο μαθαίνει άμεσα να προβλέπει την πιθανότητα της θετικής κλάσης.

• Το softmax με δύο εξόδους απαιτεί περισσότερους παραμέτρους και υπολογισμούς, κάτι που δεν είναι πρακτικό για μια δυαδική εργασία.

Παράδειγμα: η λογιστική παλινδρόμηση είναι ένα γραμμικό μοντέλο με σιγμοειδή έξοδο, που προβλέπει την πιθανότητα της κλάσης 1.