Logloss və MSE üçün itki funksiyasının törəməsini necə müəyyən etmək olar?

Makine öyrənməsində itki funksiyaları üçün, modeli optimallaşdırmaq məqsədilə törəməni (gradienti) hesablamaq tez-tez tələb olunur.

1. MSE (Orta Kvadrat Xəta) — orta kvadrat xəta:

İtkifunksiyası:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Törəmə ( \hat{y}_i ) ilə:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logarifmik itki funksiyası) — təsnifat tapşırıqlarında istifadə olunur (məsələn, logistika regresiyası):

İki sinif üçün:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

burada ( y_i \in {0,1} ), ( \hat{y}_i ) isə 1 sinfi üçün proqnozlaşdırılan ehtimaldır.

Törəmə ( \hat{y}_i ) ilə:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Logistik regresiya kontekstində, əgər ( \hat{y}_i = \sigma(z_i) ) (sigmoid), onda modelə giriş ( z_i ) üçün törəmə:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Bu, təlim zamanı hesablamaları sadələşdirir.

Buna görə, modeli optimallaşdırmaq üçün, bu törəmələri istifadə etmək və parametrləri gradient metodları ilə yeniləmək lazımdır.