Kokia yra MSE gradiento formulė svoriams?

MSE (Vidurkis kvadratinė klaida) nuostolių funkcija vienam pavyzdžiui:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

kur ( y ) yra tikroji reikšmė, ( \hat{y} ) yra modelio prognozė.

Jei ( \hat{y} = \sum_i w_i x_i ), tada gradientas pagal svorį ( w_j ) skaičiuojamas kaip:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Tai reiškia, kad klaida (skirtumas tarp prognozės ir tikrosios reikšmės) dauginama iš atitinkamos įvesties kintamosios.

Šis išraiška naudojama gradientinio nusileidimo metu svorių atnaujinimui:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

kur ( \eta ) yra mokymosi greitis.