Kaip analitiškai sprendžiama linijinės regresijos užduotis? Pateikite normaliąją lygtį.

Linijinės regresijos užduotis yra rasti parametrų ( \mathbf{w} ) vektorių, kuris sumažintų prognozuotų reikšmių ir tikrųjų žymių kvadratinių klaidų sumą. Tegul ( X ) yra požymių matrica dydžio ( m \times n ) (kur ( m ) yra objektų skaičius, o ( n ) — požymių skaičius), ( \mathbf{y} ) — tikslinių reikšmių vektorius, kurio dydis ( m \times 1 ), o ( \mathbf{w} ) — parametrų vektorius, kurio dydis ( n \times 1 ). Užduotis suformuluojama kaip funkcijos minimizavimas:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Norint rasti optimalų ( \mathbf{w} ), imame išvestinę pagal ( \mathbf{w} ) ir ją lyginame nuliui:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Iš čia gauname normalųjį lygtį:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Sprendžiant šią lygtį, randame analitinį sprendimą:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Šis sprendimas egzistuoja, jei matrica ( X^T X ) nėra singuliari (invertuojama). Jei ji yra singuliari, taikomos reguliacijos ar skaitmeniniai metodai.