Πώς καθορίζουμε την παράγωγο της λειτουργίας απώλειας για logloss και MSE;

Για τις συναρτήσεις απώλειας στη μηχανική μάθηση, συχνά απαιτείται ο υπολογισμός της παραγώγου (κλίσης) για την βελτιστοποίηση του μοντέλου.

1. MSE (Μέση Τετραγωνική Σφάλμα) — μέση τετραγωνική σφάλμα:

Συνάρτηση απώλειας:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Παράγωγος ως προς την πρόβλεψη ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (λογαριθμική συνάρτηση απώλειας) — χρησιμοποιείται σε προβλήματα ταξινόμησης (π.χ., λογιστική παλινδρόμηση):

Για δυαδική ταξινόμηση:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

όπου ( y_i \in {0,1} ), ( \hat{y}_i ) είναι η προβλεπόμενη πιθανότητα της κλάσης 1.

Παράγωγος ως προς ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Στο πλαίσιο της λογιστικής παλινδρόμησης, αν ( \hat{y}_i = \sigma(z_i) ) (συγκοίδη), τότε η παράγωγος ως προς την είσοδο ( z_i ) θα είναι:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Αυτό απλοποιεί τους υπολογισμούς κατά τη διάρκεια της εκπαίδευσης.

Επομένως, για την βελτιστοποίηση του μοντέλου, είναι απαραίτητο να χρησιμοποιούνται αυτές οι παράγωγοι για την ενημέρωση των παραμέτρων με μεθόδους γραμμικού κατεύθυνσης.