Πώς λύνεται αναλυτικά το πρόβλημα της γραμμικής παλινδρόμησης; Παρουσιάστε την κανονική εξίσωση.

Η εργασία της γραμμικής παλινδρόμησης συνίσταται στην εύρεση ενός διανύσματος παραμέτρων ( \mathbf{w} ) που ελαχιστοποιεί το άθροισμα των τετραγωνικών σφαλμάτων μεταξύ των προβλεπόμενων τιμών και των πραγματικών ετικετών. Έστω ( X ) ο πίνακας χαρακτηριστικών διαστάσεων ( m \times n ) (όπου ( m ) είναι ο αριθμός των αντικειμένων και ( n ) ο αριθμός των χαρακτηριστικών), ( \mathbf{y} ) το διάνυσμα των στόχων διαστάσεων ( m \times 1 ), και ( \mathbf{w} ) το διάνυσμα των παραμέτρων διαστάσεων ( n \times 1 ). Η εργασία διατυπώνεται ως ελαχιστοποίηση της συνάρτησης:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Για να βρούμε το βέλτιστο ( \mathbf{w} ), παίρνουμε την παράγωγο ως προς ( \mathbf{w} ) και την θέτουμε ίση με το μηδέν:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Από εδώ, προκύπτει η κανονική εξίσωση:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Επιλύοντας αυτήν την εξίσωση, βρίσκουμε την αναλυτική λύση:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Αυτή η λύση υπάρχει αν η μήτρα ( X^T X ) είναι μη-μονοσήμαντη (αντιστρέψιμη). Αν είναι μονοσήμαντη, εφαρμόζονται κανονικοποίηση ή αριθμητικές μέθοδοι.