Wie wird das Problem der linearen Regression analytisch gelöst? Stellen Sie die Normalgleichung auf.

Die Aufgabe der linearen Regression besteht darin, einen Parametersatz ( \mathbf{w} ) zu finden, der die Summe der quadratischen Fehler zwischen den vorhergesagten Werten und den tatsächlichen Labels minimiert. Sei ( X ) die Merkmalsmatrix der Größe ( m \times n ) (wobei ( m ) die Anzahl der Objekte und ( n ) die Anzahl der Merkmale ist), ( \mathbf{y} ) der Vektor der Zielwerte der Größe ( m \times 1 ), und ( \mathbf{w} ) der Parametersatz ( n \times 1 ). Dann wird die Aufgabe als Minimierung der Funktion formuliert:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Um ( \mathbf{w} ) zu finden, nehmen wir die Ableitung nach ( \mathbf{w} ) und setzen sie auf null:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Daraus folgt die Normalgleichung:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Durch Lösen dieser Gleichung erhalten wir die analytische Lösung:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Diese Lösung existiert, wenn die Matrix ( X^T X ) nicht singulär (invertierbar) ist. Falls sie singulär ist, werden Regularisierung oder numerische Methoden angewandt.