Ağırlıklar için MSE'nin gradyan formülü nedir?

Ortalama Kare Hata (MSE) kayıp fonksiyonu, bir örnek için:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

Burada ( y ) gerçek değer, ( \hat{y} ) model tahminidir.

Eğer ( \hat{y} = \sum_i w_i x_i ) ise, o zaman ( w_j ) ağırlığına göre gradyan şu şekilde hesaplanır:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Yani, hata (tahmin ile gerçek değer arasındaki fark), ilgili giriş değişkeni ile çarpılır.

Bu ifade, gradyan inişi kullanılarak ağırlıkların güncellenmesinde kullanılır:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

Burada ( \eta ) öğrenme oranıdır.