Hoe lossen we een lineair regressieprobleem op als we geen expliciete formule gebruiken?

Als er geen expliciete formule wordt gebruikt om het lineaire regressieprobleem op te lossen (bijvoorbeeld de normale vergelijking), worden meestal numerieke optimalisatiemethoden zoals gradient descent toegepast.

Het idee is om de modelparameters (gewichten) iteratief bij te werken door de verliesfunctie (bijvoorbeeld de gemiddelde kwadratische fout) te minimaliseren. Bij elke stap wordt de gradient van de verliesfunctie ten opzichte van de parameters berekend, en de parameters worden aangepast in de richting van het verminderen van de fout.

Voorbeeld in Python met behulp van gradient descent:

import numpy as np

# X - kenmerkenmatrix, y - doelvariabele
# Voeg een kolom van enen toe voor de vrije term
X_b = np.c_[np.ones((len(X), 1)), X]

# Initialisatie van gewichten
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Optimale parameters:", theta)

Op deze manier gebruiken we zonder expliciete formule een iteratieve aanpak om de optimale parameters te benaderen.