Как решаваме проблем с линейна регресия, ако не използваме явна формула?

Ако не използвате явна формула за решаване на задачата за линейна регресия (например нормалното уравнение), обикновено се прилагат числени методи за оптимизация като градиентен спуск.

Идеята е да актуализирате итеративно параметрите на модела (теглата), като минимизирате функцията на загубата (например средноквадратичната грешка). На всяка стъпка се изчислява градиентът на функцията на загубата спрямо параметрите, и параметрите се коригират в посока на намаляване на грешката.

Пример на Python с използване на градиентен спуск:

import numpy as np

# X - матрица на характеристиките, y - целевата променлива
# Добавяме колона с единици за свободния член
X_b = np.c_[np.ones((len(X), 1)), X]

# Инициализация на теглата
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Оптимални параметри:", theta)

По този начин, без явна формула, използваме итеративен подход за приближаване към оптималните параметри.