Aký je vzorec gradientu pre MSE voči váham?

Funkcia straty MSE (Stredná štvorcová chyba) pre jeden príklad:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

kde ( y ) je skutočná hodnota, ( \hat{y} ) je predpoveď modelu.

Ak ( \hat{y} = \sum_i w_i x_i ), potom sa gradient vzhľadom na váhu ( w_j ) počíta ako:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

To znamená, že chyba (rozdiel medzi predpoveďou a skutočnou hodnotou) je vynásobená zodpovedajúcou vstupnou premennou.

Tento výraz sa používa v gradientnom zostupe na aktualizáciu váh:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

kde ( \eta ) je rýchlosť učenia.