Jak se analyticky řeší úloha lineární regrese? Uveďte normální rovnici.

Úkolem lineární regrese je najít vektor parametrů ( \mathbf{w} ), který minimalizuje součet čtvercových chyb mezi předpovězenými hodnotami a skutečnými štítky. Nechť ( X ) je matice rysů o rozměrech ( m \times n ) (kde ( m ) je počet objektů a ( n ) je počet rysů), ( \mathbf{y} ) je vektor cílových hodnot o rozměrech ( m \times 1 ), a ( \mathbf{w} ) je vektor parametrů o rozměrech ( n \times 1 ). Úkol je formulován jako minimalizace funkce:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Pro nalezení optimálního ( \mathbf{w} ) vezmeme derivaci podle ( \mathbf{w} ) a nastavíme ji na nulu:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Odtud dostáváme normální rovnici:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Řešením této rovnice najdeme analytické řešení:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Toto řešení existuje, pokud je matice ( X^T X ) nerovná nula (invertibilní). Pokud je singulární, použijí se regularizace nebo numerické metody.