Расскажите про алгоритм линейной регрессии: как он устроен, что обучается, и есть ли аналитическое решение?

Линейная регрессия — это метод машинного обучения для моделирования зависимости между независимыми переменными (фичами) и зависимой переменной (целевой). Алгоритм пытается подобрать параметры (коэффициенты) линейной функции, чтобы минимизировать ошибку между предсказанными значениями и реальными.

Обучается вектор коэффициентов ( \mathbf{w} ) и смещение ( b ) в модели:

[ y = \mathbf{w}^T \mathbf{x} + b ]

Цель — минимизировать функцию потерь, обычно среднеквадратичную ошибку (MSE):

[ L(\mathbf{w}, b) = \frac{1}{n} \sum_{i=1}^n (y_i - (\mathbf{w}^T \mathbf{x}_i + b))^2 ]

Аналитическое решение существует и выражается через нормальное уравнение:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

где ( X ) — матрица признаков, ( \mathbf{y} ) — вектор целевых значений. Это решение эффективно для небольших и средних наборов данных, но при больших размерах или мультиколлинеарности предпочтительнее использовать численные методы (градиентный спуск).