Jaka jest formuła gradientu dla MSE względem wag?

Funkcja straty MSE (Mean Squared Error) dla jednego przykładu:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

gdzie ( y ) to wartość rzeczywista, ( \hat{y} ) to przewidywanie modelu.

Jeśli ( \hat{y} = \sum_i w_i x_i ), to gradient względem wagi ( w_j ) oblicza się jako:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Oznacza to, że błąd (różnica między przewidywaniem a wartością rzeczywistą) jest mnożony przez odpowiednią zmienną wejściową.

To wyrażenie jest używane w spadku gradientu do aktualizacji wag:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

gdzie ( \eta ) to współczynnik uczenia się.