Как се решава аналитично задачата за линейна регресия? Представете нормалното уравнение.

Задачата на линейната регресия се състои в намиране на вектор от параметри ( \mathbf{w} ), който минимизира сумата от квадратичните грешки между предсказаните стойности и реалните етикети. Нека ( X ) е матрицата на характеристиките с размер ( m \times n ) (където ( m ) е броят на обектите, а ( n ) е броят на характеристиките), ( \mathbf{y} ) е векторът на целевите стойности с размер ( m \times 1 ), а ( \mathbf{w} ) е векторът на параметрите с размер ( n \times 1 ). Задачата се формулира като минимизация на функцията:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

За намиране на оптималното ( \mathbf{w} ), взимаме производната по ( \mathbf{w} ) и я приравняваме на нула:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Оттук получаваме нормалното уравнение:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Решавайки това уравнение, намираме аналитичното решение:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Това решение съществува, ако матрицата ( X^T X ) е невырождена (обратима). Ако е виражена, се прилагат регуларизация или числени методи.