Kā analītiski risināt lineārās regresijas uzdevumu? Parādiet normālo vienādojumu.

Lineārās regresijas uzdevums ir atrast parametru ( \mathbf{w} ) vektoru, kas minimizē kvadrātisko kļūdu summu starp prognozētajām vērtībām un faktiskajām zīmēm. Pieņemsim, ka ( X ) ir raksturlielumu matrica izmērā ( m \times n ) (kur ( m ) ir objektu skaits, un ( n ) — raksturlielumu skaits), ( \mathbf{y} ) ir mērķa vērtību vektors, kura izmērs ir ( m \times 1 ), un ( \mathbf{w} ) ir parametru vektors, kura izmērs ir ( n \times 1 ). Uzdevums tiek formulēts kā funkcijas minimizācija:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Lai atrastu optimālo ( \mathbf{w} ), ņemam atvasinājumu attiecībā uz ( \mathbf{w} ) un to vienādojam ar nulli:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

No tā izriet normālais vienādojums:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Izvēloties šo vienādojumu, atrodam analītisku risinājumu:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Šis risinājums pastāv, ja matrica ( X^T X ) nav singulara (neatgriezeniska). Ja tā ir singulara, tiek izmantotas regulēšanas vai skaitliskās metodes.