რა არის MSE-ის გრადიენტის ფორმულა წონებისთვის?

MSE (Միջին քառակուսային սխալ) կորուստային ֆունկցիա մեկ օրինակ համար:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

որտեղ ( y ) իրական արժեքն է, ( \hat{y} ) մոդելի կանխատեսումն է:

Եթե ( \hat{y} = \sum_i w_i x_i ), ապա ( w_j ) քաշի նկատմամբ գրադիենտը հաշվվում է:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Արդյունքում, սխալը (կենտրոնական տարբերությունը կանխատեսման և իրական արժեքի միջև) բազմապատկվում է համապատասխան մուտքային փոփոխականի հետ:

Այս արտահայտությունը օգտագործվում է գրադիենտային նվազեցման մեջ քաշերը թարմացնելու համար:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

որտեղ ( \eta ) ուսուցման արագությունն է։