Kāda ir MSE gradienta formula attiecībā uz svariem?

MSE (Vidējās kvadrātiskās kļūdas) zaudējuma funkcija vienam piemēram:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

kur ( y ) ir patiesā vērtība, ( \hat{y} ) ir modeļa prognoze.

Ja ( \hat{y} = \sum_i w_i x_i ), tad gradientu attiecībā uz svaru ( w_j ) aprēķina kā:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Tas nozīmē, ka kļūda (atšķirība starp prognozi un patieso vērtību) tiek reizināta ar atbilstošo ievades mainīgo.

Šis izteiciens tiek izmantots gradienta nolaišanas procesā svaru atjaunināšanai:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

kur ( \eta ) ir mācīšanās ātrums.