Come si risolve analiticamente il problema della regressione lineare? Presenta l'equazione normale.

Il compito della regressione lineare consiste nel trovare un vettore di parametri ( \mathbf{w} ) che minimizzi la somma degli errori quadratici tra i valori predetti e le etichette reali. Sia ( X ) la matrice delle caratteristiche di dimensione ( m \times n ) (dove ( m ) è il numero di oggetti e ( n ) il numero di caratteristiche), ( \mathbf{y} ) il vettore dei valori target di dimensione ( m \times 1 ), e ( \mathbf{w} ) il vettore dei parametri di dimensione ( n \times 1 ). La task viene formulata come minimizzazione della funzione:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Per trovare ( \mathbf{w} ) ottimale, si prende la derivata rispetto a ( \mathbf{w} ) e si pone uguale a zero:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Da qui, otteniamo l'equazione normale:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Risolvendo questa equazione, troviamo la soluzione analitica:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Questa soluzione esiste se la matrice ( X^T X ) è non singolare (invertibile). Se è singolare, si applicano regolarizzazione o metodi numerici.