Jak rozwiązujemy problem regresji liniowej, jeśli nie używamy jawnej formuły?

Jeśli nie używasz jawnej formuły do rozwiązania problemu regresji liniowej (np. równania normalnego), zwykle stosuje się metody optymalizacji numerycznej, takie jak spadek gradientu.

Pomysł polega na iteracyjnym aktualizowaniu parametrów modelu (wag), minimalizując funkcję straty (np. średni błąd kwadratowy). Na każdym kroku oblicza się gradient funkcji straty względem parametrów, a następnie parametry są korygowane w kierunku zmniejszenia błędu.

Przykład w Pythonie z użyciem spadku gradientu:

import numpy as np

# X - macierz cech, y - zmienna docelowa
# Dodajemy kolumnę jedynek dla wyrazu wolnego
X_b = np.c_[np.ones((len(X), 1)), X]

# Inicjalizacja wag
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Optymalne parametry:", theta)

W ten sposób, bez jawnej formuły, używamy podejścia iteracyjnego do przybliżenia optymalnych parametrów.