Hogyan oldható meg analitikusan a lineáris regressziós feladat? Mutassa be a normál egyenletet.

Lineáris regresszió feladata egy olyan paramétervektor ( \mathbf{w} ) megtalálása, amely minimalizálja a becsült értékek és a valós címkék közötti négyzetes hibák összegét. Legyen ( X ) a jellemzők mátrixa méretben ( m \times n ) (ahol ( m ) az objektumok száma, ( n ) a jellemzők száma), ( \mathbf{y} ) a célértékek vektora méretben ( m \times 1 ), és ( \mathbf{w} ) a paraméterek vektora méretben ( n \times 1 ). A feladat a függvény minimizálásával van megfogalmazva:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Az optimális ( \mathbf{w} ) megtalálásához a ( \mathbf{w} ) szerinti deriváltat vesszük és nullára állítjuk:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Innen kapjuk a normál egyenletet:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Ezt az egyenletet megoldva, megtaláljuk az analitikus megoldást:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Ez a megoldás akkor létezik, ha a ( X^T X ) mátrix nem szinguláris (fordítható). Ha szinguláris, akkor regulárizációt vagy numerikus módszereket alkalmaznak.