Kako rešavamo problem linearne regresije ako ne koristimo eksplicitnu formulu?

Если не использовать явную формулу для решения задачи линейной регрессии (например, нормальное уравнение), то обычно применяют численные методы оптимизации, такие как градиентный спуск.

Идея в том, чтобы итеративно обновлять параметры модели (веса), минимизируя функцию потерь (например, среднеквадратичную ошибку). На каждом шаге вычисляется градиент функции потерь по параметрам, и параметры корректируются в направлении уменьшения ошибки.

Пример на Python с использованием градиентного спуска:

import numpy as np

# X - матрица признаков, y - целевая переменная
# Добавим столбец единиц для свободного члена
X_b = np.c_[np.ones((len(X), 1)), X]

# Инициализация весов
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Оптимальные параметры:", theta)

Таким образом, без явной формулы мы используем итеративный подход для приближения оптимальных параметров.