Формулаи градиент барои MSE дар бораи вазнҳо чист?

Функсияи зиён MSE (Хатогии миёнаи квадратӣ) барои як намуна:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

ки дар он ( y ) арзиши воқеӣ аст, ( \hat{y} ) пешгӯии модели аст.

Агар ( \hat{y} = \sum_i w_i x_i ), пас градиент дар бораи вазни ( w_j ) ҳисоб карда мешавад:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Яъне, хато (фарқият байни пешгӯӣ ва арзиши воқеӣ) бо тағйирёбандаи вурудии мувофиқ дароз мешавад.

Ин израз дар градиентӣ барои навсозии вазнҳо истифода мешавад:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

ки дар он ( \eta ) суръати омӯзиш аст.