Hogyan oldjuk meg a lineáris regressziós problémát, ha nem használunk kifejezett képletet?

Ha nem használunk explicit formulát a lineáris regressziós probléma megoldására (például normál egyenlet), akkor általában numerikus optimalizációs módszereket, például gradiens leszállást alkalmazunk.

Az ötlet az, hogy iteratívan frissítjük a modell paramétereit (súlyokat), minimalizálva a veszteségfüggvényt (például az átlagos négyzetes hibát). Minden lépésben kiszámítjuk a veszteségfüggvény gradiensét a paraméterek szerint, és a paramétereket a hiba csökkentése irányába módosítjuk.

Python példaként gradiens leszállással:

import numpy as np

# X - jellemzők mátrixa, y - céls változó
# Egyes oszlopot adunk hozzá a szabad taghoz
X_b = np.c_[np.ones((len(X), 1)), X]

# Súlyok inicializálása
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Optimális paraméterek:", theta)

Így, explicit képlet nélkül, egy iteratív megközelítést alkalmazunk az optimális paraméterek közelítésére.