Açıq formuladan istifadə etmədən xətti reqressiya problemini necə həll edirik?

Əgər xətti reqressiya problemini həll etmək üçün açıq formuladan istifadə olunmursa (məsələn, normal tənlik), adətən optimallaşdırma üçün sayısal metodlar, məsələn, gradient enişi tətbiq edilir.

Fikir odur ki, model parametrlərini (ağırlıqları) iterativ olaraq yeniləyərək itki funksiyasını (məsələn, orta kvadrat səhv) minimallaşdırmaq. Hər addımda, itki funksiyasının parametrlər üzrə gradienti hesablanır və parametrlər səhvi azaltmaq istiqamətində tənzimlənir.

Python-da gradient enişi ilə nümunə:

import numpy as np

# X - xüsusiyyətlər matrisası, y - məqsəd dəyişəni
# Müstəqil termin üçün birlər sütunu əlavə edirik
X_b = np.c_[np.ones((len(X), 1)), X]

# Ağırlıqların başlanğıc vəziyyəti
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Optimal parametrlər:", theta)

Bu şəkildə, açıq formuladan istifadə etmədən, optimal parametrlərə yaxınlaşmaq üçün iterativ yanaşmadan istifadə edirik.