Kā noteikt zaudējumu funkcijas atvasinājumu logloss un MSE?

Mašīnmācībā zaudējumu funkcijām bieži ir nepieciešams aprēķināt atvasni (grādientu), lai optimizētu modeli.

1. MSE (Vidējā kvadrātiskā kļūda) — vidējā kvadrātiskā kļūda:

Zaudējumu funkcija:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Atvasne attiecībā uz prognozi ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logaritmiskā zaudējumu funkcija) — tiek izmantota klasifikācijas uzdevumos (piemēram, loģistiskā regresija):

Binarai klasifikācijai:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

Kur ( y_i \in {0,1} ), ( \hat{y}_i ) ir iepriekš prognozētā varbūtība klases 1.

Atvasne attiecībā uz ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Loģistiskās regresijas kontekstā, ja ( \hat{y}_i = \sigma(z_i) ) (sigmoīds), tad atvasne attiecībā uz ievadi ( z_i ):

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Tas vienkāršo aprēķinus apmācības laikā.

Tādēļ, lai optimizētu modeli, ir nepieciešams izmantot šīs atvasnes parametru atjaunināšanai, izmantojot gradientu metodes.