Hogyan határozhatjuk meg a veszteségfüggvény deriváltját logloss és MSE esetén?

A gépi tanulásban használt veszteségfüggvények esetén gyakran szükséges a derivált (gradiens) kiszámítása a modell optimalizálásához.

1. MSE (Mean Squared Error) — átlagos négyzetes hiba:

Veszteségfüggvény:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Derivált a ( \hat{y}_i ) predikcióhoz:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (logaritmikus veszteségfüggvény) — bináris osztályozási feladatokhoz (pl. logisztikus regresszió):

Bináris osztályozáshoz:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

ahol ( y_i \in {0,1} ), ( \hat{y}_i ) a predikált valószínűség az 1-es osztályra.

Derivált ( \hat{y}_i ) szerint:

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

A logisztikus regresszió kontextusában, ha ( \hat{y}_i = \sigma(z_i) ) (szigmoid), akkor a bemenetre vett derivált:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Ez egyszerűsíti a számításokat a tanulás során.

Ezért a modell optimalizálásához ezeket a deriváltakat kell használni a paraméterek frissítéséhez gradiens módszerekkel.