Wat is de gradiëntformule voor MSE ten opzichte van de gewichten?

MSE (Mean Squared Error) verliesfunctie voor één voorbeeld:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

waar ( y ) de werkelijke waarde is, ( \hat{y} ) de voorspelling van het model.

Als ( \hat{y} = \sum_i w_i x_i ), dan wordt de gradiënt ten opzichte van het gewicht ( w_j ) berekend als:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Dat wil zeggen, de fout (verschil tussen voorspelling en werkelijke waarde) wordt vermenigvuldigd met de bijbehorende invoervariabele.

Deze uitdrukking wordt gebruikt in gradient descent om de gewichten bij te werken:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

waar ( \eta ) de leersnelheid is.