Cum se rezolvă analitic problema regresiei liniare? Prezentați ecuația normală.

Sarcina regresiei liniare constă în găsirea unui vector de parametri ( \mathbf{w} ) care minimizează suma pătratelor erorilor dintre valorile prezise și etichetele reale. Să fie ( X ) matricea caracteristicilor de dimensiune ( m \times n ) (unde ( m ) este numărul de obiecte, iar ( n ) numărul de caracteristici), ( \mathbf{y} ) vectorul valorilor țintă de dimensiune ( m \times 1 ), iar ( \mathbf{w} ) vectorul de parametri de dimensiune ( n \times 1 ). Sarcina este formulată ca minimizarea funcției:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Pentru a găsi ( \mathbf{w} ) optim, se ia derivata față de ( \mathbf{w} ) și se egalează cu zero:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

De aici, obținem ecuația normală:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Rezolvând această ecuație, găsim soluția analitică:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Această soluție există dacă matricea ( X^T X ) nu este singulară (inversibilă). Dacă este singulară, se aplică regularizare sau metode numerice.