Ποια λειτουργικότητα βελτιστοποιείται κατά τη διάρκεια της εκπαίδευσης της λογιστικής παλινδρόμησης;

Κατά την εκπαίδευση της λογιστικής παλινδρόμησης, βελτιστοποιείται μια λειτουργία απώλειας, συνήθως η λογαριθμική λειτουργία απώλειας (log loss ή διασταυρούμενη εντροπία). Αυτή η λειτουργία μετρά τη διαφορά μεταξύ των προβλεπόμενων πιθανοτήτων κατανομής στις κλάσεις και των πραγματικών ετικετών. Ο στόχος της εκπαίδευσης είναι να ελαχιστοποιήσει το άθροισμα αυτών των απωλειών σε όλα τα εκπαιδευτικά παραδείγματα, οδηγώντας στην εύρεση των βέλτιστων παραμέτρων του μοντέλου (βάρη).

Παράδειγμα λειτουργίας απώλειας για δυαδική λογιστική παλινδρόμηση:

[ L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \ log(1 - h_\theta(x^{(i)}))\right] ]

όπου:

• (h_\theta(x)) είναι η προβλεπόμενη πιθανότητα,
• (y^{(i)}) είναι η πραγματική ετικέτα,
• (m) είναι ο αριθμός των παραδειγμάτων.

Η βελτιστοποίηση πραγματοποιείται συνήθως μέσω της κατιούσας κλίσης ή των παραλλαγών της.