Doğrusal regresyon problemini analitik olarak nasıl çözülür? Normal denklemi gösteriniz.

Doğrusal regresyonun görevi, tahmin edilen değerler ile gerçek etiketler arasındaki kare hataların toplamını minimize eden ( \mathbf{w} ) parametre vektörünü bulmaktır. ( X ) özellik matrisidir ve boyutu ( m \times n ) (burada ( m ) nesne sayısı ve ( n ) özellik sayısıdır), ( \mathbf{y} ) hedef değerler vektörüdür ve boyutu ( m \times 1 ), ( \mathbf{w} ) ise ( n \times 1 ) boyutunda parametre vektörüdür. Bu durumda, görev şu fonksiyonun minimize edilmesiyle formüle edilir:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

En uygun ( \mathbf{w} ) değerini bulmak için, ( \mathbf{w} ) üzerine türev alınır ve sıfıra eşitlenir:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Buradan, normal denklemler elde edilir:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Bu denklemi çözerek, analitik çözüm bulunur:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Bu çözüm, ( X^T X ) matrisi singular değil (terslenebilir) ise mevcuttur. Eğer singular ise, düzenleme veya sayısal yöntemler kullanılır.