Как аналитически решается задача линейной регрессии? Выведите нормальное уравнение.

Задача линейной регрессии сводится к поиску вектора параметров ( \mathbf{w} ), который минимизирует сумму квадратов ошибок между предсказанными значениями и реальными метками. Пусть ( X ) — матрица признаков размером ( m \times n ) (где ( m ) — число объектов, ( n ) — число признаков), ( , \mathbf{y} ) — вектор целевых значений размером ( m \times 1 ), а ( \mathbf{w} ) — вектор параметров ( n \times 1 ). Тогда задача формулируется как минимизация функции:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Для нахождения оптимального ( \mathbf{w} ) берём производную по ( \mathbf{w} ) и приравниваем к нулю:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Отсюда получаем нормальное уравнение:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Решая это уравнение, находим аналитическое решение:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Это решение существует, если матрица ( X^T X ) невырождена (обратима). Если она вырождена, применяют регуляризацию или численные методы.