Какова формула градиента для MSE по весам?

Функция потерь MSE (Mean Squared Error) для одного примера:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

где ( y ) — истинное значение, ( \hat{y} ) — предсказание модели.

Если ( \hat{y} = \sum_i w_i x_i ), то градиент по весу ( w_j ) вычисляется как:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

То есть, ошибка (разница между предсказанием и истинным значением) умножается на соответствующую входную переменную.

Это выражение используется в градиентном спуске для обновления весов:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

где ( \eta ) — скорость обучения.