Kuidas määrata kaotuse funktsiooni tuletis logloss ja MSE jaoks?

Masinõppe kaotuse funktsioonide puhul on sageli vaja arvutada tuletist (gradiendi), et optimeerida mudelit.

1. MSE (Keskmine ruutviga) — keskmine ruutviga:

Kaotuse funktsioon:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Tuletis prognoosi ( \hat{y}_i ) suhtes:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logaritmiline kaotuse funktsioon) — kasutatakse klassifikatsioonülesannetes (näiteks logistiline regressioon):

Binaarse klassifikatsiooni puhul:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

kus ( y_i \in {0,1} ), ( \hat{y}_i ) on ette prognoositud tõenäosus klassile 1.

Tuletis ( \hat{y}_i ) suhtes:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

Logistilise regressiooni kontekstis, kui ( \hat{y}_i = \sigma(z_i) ) (sigmoid), siis on:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

See lihtsustab arvutusi treeningu ajal.

Seega, mudeli optimeerimiseks on vaja kasutada neid tuletisi, et uuendada parameetreid gradientmeetoditega.