Kuidas lahendada lineaarse regressiooni ülesannet analüütiliselt? Esitage normaalvõrrand.

Lineaarse regressiooni ülesandeks on leida parameetrite ( \mathbf{w} ) vektor, mis minimeerib prognoositavate väärtuste ja tegelike märkide vahelise ruutvea summa. Olgu ( X ) tunnuste maatriks suurusega ( m \times n ) (kus ( m ) on objektide arv ja ( n ) tunnuste arv), ( \mathbf{y} ) sihtväärtuste vektor suurusega ( m \times 1 ), ning ( \mathbf{w} ) parameetrite vektor suurusega ( n \times 1 ). Ülesanne formuleeritakse funktsiooni minimeerimisena:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Optimaalse ( \mathbf{w} ) leidmiseks võtame ( \mathbf{w} ) suhtes tuletise ja seame selle võrdseks nulliga:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Sealt saame normaalse võrrandi:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Selle võrrandi lahendamisel leiame analüütilise lahendi:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

See lahend olemas, kui maatriks ( X^T X ) ei ole singulaarne (korratav). Kui see on singulaarne, rakendatakse regulatsiooni või numbrilisi meetodeid.