Mi a gradiens képlete az MSE esetén a súlyokra?

MSE (Mean Squared Error) veszteségfüggvény egy példára:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

ahol ( y ) az igaz érték, ( \hat{y} ) a modell előrejelzése.

Ha ( \hat{y} = \sum_i w_i x_i ), akkor a gradiens a súly ( w_j ) szerint a következőképpen számítódik:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Vagyis, a hiba (a predikció és az igaz érték közötti különbség) megszorozva a megfelelő bemeneti változóval.

Ezt a kifejezést a gradiens csökkenésben használják a súlyok frissítésére:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

ahol ( \eta ) a tanulási ráta.