Kako odrediti derivat funkcije gubitka za logloss i MSE?

За функције губитка у машинском учењу често је потребно израчунати дериват (градијент) за оптимизацију модела.

1. MSE (Средња квадратична грешка) — средња квадратична грешка:

Функција губитка:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Дериват у односу на предвиђање ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (логаритамска функција губитка) — користи се у задацима класификације (нпр. логистичка регресија):

За бинарну класификацију:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

где ( y_i \in {0,1} ), ( \hat{y}_i ) је предвиђена вероватноћа класе 1.

Дериват у односу на ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

У контексту логистичке регресије, ако ( \hat{y}_i = \sigma(z_i) ) (сигмоид), онда ће дериват у односу на улаз ( z_i ):

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Ово поједностављује израчунавања током тренинга.

Стога, за оптимизацију модела, потребно је користити ове деривате за ажурирање параметара помоћу градијентних метода.