Ako sa analyticky rieši úloha lineárnej regresie? Uveďte normálnu rovnicu.

Úloha lineárnej regresie spočíva v nájdení vektora parametrov ( \mathbf{w} ), ktorý minimalizuje súčet štvorcových chýb medzi predpovedanými hodnotami a skutočnými štítkami. Nech ( X ) je matica čŕt veľkosti ( m \times n ) (kde ( m ) je počet objektov a ( n ) je počet čŕt), ( \mathbf{y} ) je vektor cieľových hodnôt veľkosti ( m \times 1 ), a ( \mathbf{w} ) je vektor parametrov veľkosti ( n \times 1 ). Úloha je formulovaná ako minimalizácia funkcie:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Na nájdenie optimálneho ( \mathbf{w} ) berieme deriváciu podľa ( \mathbf{w} ) a nastavíme ju na nulu:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Od toho dostávame normálnu rovnicu:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Riešením tejto rovnice nájdeme analytické riešenie:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Toto riešenie existuje, ak je matica ( X^T X ) nerovná nula (invertibilná). Ak je singulárna, používajú sa regularizácia alebo numerické metódy.