Μπορεί να χρησιμοποιηθεί η διασταυρούμενη εντροπία για δύο κλάσεις και γιατί δεν συνιστάται;

Η διασταυρούμενη εντροπία είναι μια λειτουργία απώλειας που χρησιμοποιείται ευρέως για εργασίες ταξινόμησης, συμπεριλαμβανομένης της δυαδικής (διπλής) ταξινόμησης. Θεωρητικά, η διασταυρούμενη εντροπία ταιριάζει για δύο τάξεις, καθώς μετρά τη διαφορά μεταξύ της πραγματικής κατανομής και της προβλεπόμενης.

Ωστόσο, στην δυαδική ταξινόμηση, συχνά χρησιμοποιείται μια εξειδικευμένη μορφή διασταυρούμενης εντροπίας: η δυαδική διασταυρούμενη εντροπία, η οποία είναι βελτιστοποιημένη για δύο τάξεις και λαμβάνει υπόψη τα χαρακτηριστικά των πιθανοτήτων και των ετικετών.

Γιατί δεν συνιστάται η χρήση της κανονικής (πολλαπλής τάξης) διασταυρούμενης εντροπίας για δύο τάξεις:

• Απαιτεί η ετικέτες να αναπαρίστανται ως διανύσματα one-hot, κάτι που είναι περιττό για δύο τάξεις.
• Μπορεί να οδηγήσει σε υπερβολικούς υπολογισμούς και να περιπλέξει το μοντέλο.
• Η δυαδική διασταυρούμενη εντροπία είναι πιο απλή και αποδοτική, καθώς λειτουργεί με έναν αριθμό — την πιθανότητα ανήκειν στην θετική τάξη.

Παράδειγμα δυαδικής διασταυρούμενης εντροπίας σε PyTorch:

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # δυαδική διασταυρούμενη εντροπία
outputs = torch.sigmoid(logits)  # έξοδοι του μοντέλου
loss = criterion(outputs, targets)

Επομένως, για δύο τάξεις, συνιστάται η χρήση δυαδικής διασταυρούμενης εντροπίας αντί της γενικής, για βελτίωση της αποτελεσματικότητας και της ακρίβειας της εκπαίδευσης.