Ինչպե՞ս որոշել վնասի ֆունկցիայի դերիվատը logloss և MSE համար։
sobes.tech AI
Պատասխան AI-ից
Մեքենայական ուսուցման մեջ կորուստների ֆունկցիաների համար հաճախ անհրաժեշտ է հաշվարկել դերիվատիվը (գրադիենտը) մոդելը օպտիմալացնելու համար:
- MSE (Միջին քառակուսային սխալ) — միջին քառակուսային սխալ:
Կորուստի ֆունկցիա:
[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]
Դերիվատիվը նախանշված կանխատեսման նկատմամբ ( \hat{y}_i ):
[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]
- LogLoss (լոգարիթմական կորուստ) — օգտագործվում է դասակարգման խնդիրներում (օրինակ, լոգիստիկ ռեգրեսիա):
Բ binary դասակարգման համար:
[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]
որտեղ ( y_i \in {0,1} ), ( \hat{y}_ի ) կանխատեսված հավանականությունն է դասի 1-ի համար:
Դերիվատիվը ( \hat{y}_i ) ի նկատմամբ:
[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]
Լոգիստիկ ռեգրեսիայի կոնտեքստում, եթե ( \hat{y}_i = \sigma(z_i) ) (սիգմոիդ), ապա դերիվատիվը մուտքի նկատմամբ ( z_i ) կլինի:
[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]
Սա պարզեցնում է հաշվարկները ուսուցման ժամանակ:
Այսպիսով, մոդելի օպտիմալացման համար անհրաժեշտ է օգտագործել այս դերիվատիվները՝ պարամետրերը թարմացնելու համար գրադիենտային մեթոդներով: