Care este formula gradientului pentru MSE în funcție de greutăți?

Funcția de pierdere MSE (Eroarea pătratică medie) pentru un exemplu:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

unde ( y ) este valoarea reală, ( \hat{y} ) este predicția modelului.

Dacă ( \hat{y} = \sum_i w_i x_i ), atunci gradientul față de greutatea ( w_j ) se calculează ca:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Adică, eroarea (diferența dintre predicție și valoarea reală) este multiplicată cu variabila de intrare corespunzătoare.

Această expresie este utilizată în gradient descent pentru actualizarea greutăților:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

unde ( \eta ) este rata de învățare.