Как определить производную функции потерь для логлос и MSE?

Для функций потерь в машинном обучении часто требуется вычислить производную (градиент) для оптимизации модели.

1. MSE (Mean Squared Error) — среднеквадратичная ошибка:

Функция потерь:

[ L = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

Производная по предсказанию ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{2}{n} (y_i - \hat{y}_i) ]

2. LogLoss (логарифмическая функция потерь) — используется в задачах классификации (например, логистическая регрессия):

Для бинарной классификации:

[ L = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]

где ( y_i \in {0,1} ), ( \hat{y}_i ) — предсказанная вероятность класса 1.

Производная по ( \hat{y}_i ):

[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{1}{n} \left( \frac{y_i}{\hat{y}_i} - \frac{1 - y_i}{1 - \hat{y}_i} \right) ]

В контексте логистической регрессии, если ( \hat{y}_i = \sigma(z_i) ) (сигмоида), то производная по входу модели ( z_i ) будет:

[ \frac{\partial L}{\partial z_i} = \hat{y}_i - y_i ]

Это упрощает вычисления при обучении.

Таким образом, для оптимизации модели нужно использовать эти производные для обновления параметров с помощью градиентных методов.