Comment résoudre analytiquement le problème de régression linéaire ? Présentez l'équation normale.
sobes.tech IA
Réponse de l'IA
La tâche de la régression linéaire consiste à trouver un vecteur de paramètres ( \mathbf{w} ) qui minimise la somme des erreurs quadratiques entre les valeurs prédites et les étiquettes réelles. Soit ( X ) la matrice de caractéristiques de taille ( m \times n ) (où ( m ) est le nombre d'objets et ( n ) le nombre de caractéristiques), ( \mathbf{y} ) le vecteur de valeurs cibles de taille ( m \times 1 ), et ( \mathbf{w} ) le vecteur de paramètres de taille ( n \times 1 ). La tâche est formulée comme la minimisation de la fonction:
[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]
Pour trouver ( \mathbf{w} ) optimal, on prend la dérivée par rapport à ( \mathbf{w} ) et on l'égale à zéro:
[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]
D'où, on obtient l'équation normale:
[ X^T X \mathbf{w} = X^T \mathbf{y} ]
En résolvant cette équation, on trouve la solution analytique:
[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]
Cette solution existe si la matrice ( X^T X ) est non singulière (inversible). Si elle est singulière, on applique la régularisation ou des méthodes numériques.