Как да определим производната на функцията за загуба за logloss и MSE?

За функциите на загуба в машинното обучение често е необходимо да се изчисли производната (градиентът), за да се оптимизира моделът.

1. MSE (Средна квадратична грешка) — средна квадратична грешка:

Функция на загубата:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Производната спрямо предсказанието ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (логаритмична функция на загубата) — използва се в задачите за класификация (например логистична регресия):

За бинарна класификация:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

където ( y_i \in {0,1} ), ( \hat{y}_i ) е предсказаната вероятност за класа 1.

Производната спрямо ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

В контекста на логистичната регресия, ако ( \hat{y}_i = \sigma(z_i) ) (сигмоид), тогава производната спрямо входа ( z_i ) ще бъде:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Това опростява изчисленията по време на обучение.

Следователно, за оптимизация на модела, е необходимо да се използват тези производни за актуализиране на параметрите с помощта на градиентни методи.