Πώς λύνουμε ένα πρόβλημα γραμμικής παλινδρόμησης αν δεν χρησιμοποιούμε ρητή φόρμουλα;

Εάν δεν χρησιμοποιείται μια ρητή φόρμουλα για την επίλυση του προβλήματος γραμμικής παλινδρόμησης (π.χ. η κανονική εξίσωση), τότε συνήθως εφαρμόζονται αριθμητικές μέθοδοι βελτιστοποίησης, όπως η κατιούσα κλίση.

Η ιδέα είναι να ενημερώνουμε επαναληπτικά τις παραμέτρους του μοντέλου (βάρη), ελαχιστοποιώντας τη λειτουργία απώλειας (π.χ. μέση τετραγωνική σφάλμα). Σε κάθε βήμα, υπολογίζεται το βαθμωτό της λειτουργίας απώλειας ως προς τις παραμέτρους, και οι παράμετροι προσαρμόζονται προς τη μείωση του σφάλματος.

Παράδειγμα σε Python με χρήση κατιούσας κλίσης:

import numpy as np

# X - μήτρα χαρακτηριστικών, y - μεταβλητή στόχου
# Προσθέτουμε μια στήλη με μονάδες για τον ελεύθερο όρο
X_b = np.c_[np.ones((len(X), 1)), X]

# Αρχικοποίηση βαρών
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Βέλτιστες παράμετροι:", theta)

Έτσι, χωρίς ρητή φόρμουλα, χρησιμοποιούμε μια επαναληπτική προσέγγιση για την προσέγγιση των βέλτιστων παραμέτρων.