WME боюнча салмактар үчүн градиенттин формуласы кандай?

MSE (Орто квадраттык каталар) жоготуучу функциясы бир мисал үчүн:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

мында ( y ) чын мааниси, ( \hat{y} ) моделдин алдын ала көрүүсү.

Эгер ( \hat{y} = \sum_i w_i x_i ), анда ( w_j ) салмак боюнча градиент төмөнкүчө эсептелет:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Демек, каталар (алдын ала көрүү менен чын маанинин ортосундагы айырма) тиешелүү кирүү өзгөрмөсү менен көбөйтүлөт.

Бул билдирүү градиент түшүүдө салмактарды жаңыртуу үчүн колдонулат:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

мында ( \eta ) үйрөнүү ылдамдыгы.