Comment résolvons-nous un problème de régression linéaire si nous n'utilisons pas de formule explicite?

Si vous n’utilisez pas de formule explicite pour résoudre le problème de régression linéaire (par exemple, l’équation normale), vous appliquez généralement des méthodes numériques d’optimisation, telles que la descente de gradient.

L’idée est de mettre à jour itérativement les paramètres du modèle (poids), en minimisant la fonction de perte (par exemple, l’erreur quadratique moyenne). À chaque étape, le gradient de la fonction de perte par rapport aux paramètres est calculé, et les paramètres sont ajustés dans la direction de la réduction de l’erreur.

Exemple en Python utilisant la descente de gradient :

import numpy as np

# X - matrice de caractéristiques, y - variable cible
# Ajoutons une colonne de uns pour le terme indépendant
X_b = np.c_[np.ones((len(X), 1)), X]

# Initialisation des poids
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Paramètres optimaux :", theta)

Ainsi, sans formule explicite, nous utilisons une approche itérative pour approcher les paramètres optimaux.