Cum rezolvăm o problemă de regresie liniară dacă nu folosim o formulă explicită?

Dacă nu se utilizează o formulă explicită pentru rezolvarea problemei de regresie liniară (de exemplu, ecuația normală), se aplică de obicei metode numerice de optimizare, cum ar fi gradientul descendent.

Ideea este de a actualiza parametrii modelului (greutăți) în mod iterativ, minimizând funcția de pierdere (de exemplu, eroarea pătratică medie). La fiecare pas, se calculează gradientul funcției de pierdere față de parametri, iar aceștia sunt ajustați în direcția reducerii erorii.

Exemplu în Python folosind gradientul descendent:

import numpy as np

# X - matricea caracteristicilor, y - variabila țintă
# Adăugăm o coloană de unități pentru termenul liber
X_b = np.c_[np.ones((len(X), 1)), X]

# Inițializarea greutăților
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Parametri optimi:", theta)

Astfel, fără o formulă explicită, folosim o abordare iterativă pentru a aproxima parametrii optimi.