Jak rozwiązać analitycznie problem regresji liniowej? Podaj równanie normalne.

Zadanie regresji liniowej polega na znalezieniu wektora parametrów ( \mathbf{w} ), który minimalizuje sumę kwadratów błędów między przewidywanymi wartościami a rzeczywistymi etykietami. Niech ( X ) będzie macierzą cech o rozmiarze ( m \times n ) (gdzie ( m ) to liczba obiektów, a ( n ) to liczba cech), ( \mathbf{y} ) wektorem wartości docelowych o rozmiarze ( m \times 1 ), a ( \mathbf{w} ) wektorem parametrów o rozmiarze ( n \times 1 ). Zadanie to formułuje się jako minimalizację funkcji:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Aby znaleźć optymalne ( \mathbf{w} ), bierze się pochodną względem ( \mathbf{w} ) i ustawia na zero:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Stąd otrzymujemy równanie normalne:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Rozwiązując to równanie, uzyskujemy rozwiązanie analityczne:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

To rozwiązanie istnieje, jeśli macierz ( X^T X ) jest nieosobliwa (odwracalna). Jeśli jest osobliwa, stosuje się regularizację lub metody numeryczne.