Ako určiť deriváciu funkcie straty pre logloss a MSE?

Pre funkcií straty v strojovom učení je často potrebné vypočítať deriváciu (gradient) na optimalizáciu modelu.

1. MSE (Stredná štvorcová chyba) — stredná štvorcová chyba:

Funkcia straty:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivácia vzhľadom na predpoveď ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logaritmická funkcia straty) — používa sa v úlohách klasifikácie (napríklad logistická regresia):

Pre binárnu klasifikáciu:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

kde ( y_i \in {0,1} ), ( \hat{y}_i ) je predpovedaná pravdepodobnosť triedy 1.

Derivácia vzhľadom na ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

V kontexte logistickej regresie, ak ( \hat{y}_i = \sigma(z_i) ) (sigmoid), potom derivácia vzhľadom na vstup ( z_i ):

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Toto zjednodušuje výpočty počas tréningu.

Preto je pre optimalizáciu modelu potrebné tieto deriváty používať na aktualizáciu parametrov pomocou gradientných metód.