Wie lautet die Gradientenformel für MSE bezüglich der Gewichte?

MSE-Verlustfunktion (Mean Squared Error) für ein Beispiel:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

wobei ( y ) der wahre Wert ist, ( \hat{y} ) die Modellvorhersage.

Wenn ( \hat{y} = \sum_i w_i x_i ), dann wird der Gradient bezüglich des Gewichts ( w_j ) berechnet als:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Das heißt, der Fehler (Differenz zwischen Vorhersage und wahrem Wert) wird multipliziert mit der entsprechenden Eingangsvariable.

Diese Gleichung wird im Gradientenabstieg verwendet, um die Gewichte zu aktualisieren:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

wobei ( \eta ) die Lernrate ist.