Kā mēs risinām lineārās regresijas uzdevumu, ja neizmantojam skaidru formulu?

Ja neizmantojat skaidru formulu lineārās regresijas problēmas risināšanai (piemēram, normālo vienādojumu), parasti tiek izmantotas skaitliskas optimizācijas metodes, piemēram, gradientu kritums.

Ideja ir iteratīvi atjaunināt modeļa parametrus (svarus), minimizējot zaudējumu funkciju (piemēram, vidējo kvadrātisko kļūdu). Katru soli tiek aprēķināts zaudējumu funkcijas gradients attiecībā uz parametriem, un parametri tiek koriģēti, virzoties uz kļūdas samazināšanu.

Piemērs Python valodā ar gradientu kritumu:

import numpy as np

# X - iezīmju matrica, y - mērķa mainīgais
# Pievienojam vienību kolonnu brīvā locekļa nodrošināšanai
X_b = np.c_[np.ones((len(X), 1)), X]

# Svaru inicializācija
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Optimālie parametri:", theta)

Tādējādi, bez skaidras formulas, mēs izmantojam iteratīvu pieeju, lai tuvotos optimālajiem parametriem.