Ποια είναι ο τύπος του διανύσματος κλίσης για το MSE ως προς τα βάρη;

Λειτουργία απώλειας MSE (Μέσο Στερεό Σφάλμα) για ένα παράδειγμα:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

όπου ( y ) είναι η πραγματική τιμή, ( \hat{y} ) είναι η πρόβλεψη του μοντέλου.

Αν ( \hat{y} = \sum_i w_i x_i ), τότε ο γραμμικός παράγοντας ως προς το βάρος ( w_j ) υπολογίζεται ως:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Δηλαδή, το σφάλμα (η διαφορά μεταξύ πρόβλεψης και πραγματικής τιμής) πολλαπλασιάζεται με τη σχετική μεταβλητή εισόδου.

Αυτή η έκφραση χρησιμοποιείται στην κατιούσα του βαθμίδα για την ενημέρωση των βαρών:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

όπου ( \eta ) είναι ο ρυθμός μάθησης.