Какие минусы есть у аналитического метода линейной регрессии?

Аналитический метод линейной регрессии, основанный на прямом вычислении коэффициентов через формулу (например, с использованием псевдообратной матрицы), имеет несколько минусов:

• Высокая вычислительная сложность при больших данных: вычисление обратной матрицы или псевдообратной требует O(n³) операций, что неэффективно для больших наборов данных.

• Чувствительность к мультиколлинеарности: если признаки сильно коррелируют, матрица может быть плохо обусловлена, что приводит к нестабильным оценкам коэффициентов.

• Отсутствие регуляризации: аналитический метод не включает механизмы борьбы с переобучением, в отличие от методов с регуляризацией (Ridge, Lasso).

• Проблемы с масштабируемостью и обновлением модели: при поступлении новых данных приходится пересчитывать модель целиком, в отличие от итеративных методов (градиентный спуск).

Из-за этих ограничений для больших и сложных задач чаще применяют численные и итеративные методы оптимизации.