Hoe wordt het probleem van lineaire regressie analytisch opgelost? Presenteer de normale vergelijking.

De taak van lineaire regressie bestaat uit het vinden van een parametervector ( \mathbf{w} ) die de som van de kwadratische fouten tussen de voorspelde waarden en de werkelijke labels minimaliseert. Laat ( X ) de kenmerkenmatrix zijn van grootte ( m \times n ) (waar ( m ) het aantal objecten is en ( n ) het aantal kenmerken), ( \mathbf{y} ) de doelwaardevector van grootte ( m \times 1 ), en ( \mathbf{w} ) de parametervector van grootte ( n \times 1 ). De taak wordt geformuleerd als het minimaliseren van de functie:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Om ( \mathbf{w} ) te vinden, nemen we de afgeleide ten opzichte van ( \mathbf{w} ) en stellen deze gelijk aan nul:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Hieruit volgt de normale vergelijking:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Door deze vergelijking op te lossen, vinden we de analytische oplossing:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Deze oplossing bestaat als de matrix ( X^T X ) niet singulier (inverteerbaar) is. Als deze singulier is, worden regularisatie of numerieke methoden toegepast.