Kako se analitički rešava zadatak linearne regresije? Prikažite normalnu jednačinu.

Задача линейне регресије састоји се у проналажењу вектора параметара ( \mathbf{w} ) који минимизује збир квадратичних грешака између предвиђених вредности и стварних етикета. Нека ( X ) буде матрица карактеристика димензија ( m \times n ) (где ( m ) је број објеката, а ( n ) број карактеристика), ( \mathbf{y} ) вектор циљних вредности димензија ( m \times 1 ), а ( \mathbf{w} ) вектор параметара димензија ( n \times 1 ). Задача се формулише као минимизација функције:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Да бисмо нашли оптимални ( \mathbf{w} ), узимамо деривату у односу на ( \mathbf{w} ) и постављамо је на нулу:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Одатле добијамо нормално једначину:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Решавајући ову једначину, добијамо аналитичко решење:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Ово решење постоји ако је матрица ( X^T X ) ненулта (инвертабилна). Ако је сингуларна, примењују се регуларизација или нумеричке методе.