Cum se determină derivata funcției de pierdere pentru logloss și MSE?

Pentru funcțiile de pierdere în învățarea automată, este adesea necesar să se calculeze derivata (gradientul) pentru a optimiza modelul.

1. MSE (Eroarea pătratică medie) — eroare pătratică medie:

Funcția de pierdere:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivata față de predicție ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (funcția de pierdere logaritmică) — utilizată în probleme de clasificare (de exemplu, regresie logistică):

Pentru clasificare binară:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

unde ( y_i \in {0,1} ), ( \hat{y}_i ) este probabilitatea prezisă a clasei 1.

Derivata față de ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

În contextul regresiei logistice, dacă ( \hat{y}_i = \sigma(z_i) ) (sigmoid), atunci derivata față de intrarea modelului ( z_i ) va fi:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Aceasta simplifică calculele în timpul antrenamentului.

Prin urmare, pentru a optimiza modelul, trebuie să folosiți aceste derivate pentru a actualiza parametrii folosind metode de gradient.