Каква е формулата за градиента за MSE по теглата?

Функция за загуба MSE (Средна квадратична грешка) за един пример:

[ L = \frac{1}{2}(y - \hat{y})^2 ]

където ( y ) е истинската стойност, ( \hat{y} ) е предсказанието на модела.

Ако ( \hat{y} = \sum_i w_i x_i ), тогава градиентът по теглото ( w_j ) се изчислява като:

[ \frac{\partial L}{\partial w_j} = (\hat{y} - y) \cdot x_j ]

Тоест, грешката (разликата между предсказанието и истинската стойност) се умножава по съответната входна променлива.

Това изразяване се използва в градиентния спуск за актуализиране на теглата:

w_j := w_j - \eta \cdot \frac{\partial L}{\partial w_j}

където ( \eta ) е скоростта на обучение.