Xətti reqressiya problemini analitik şəkildə necə həll etmək olar? Normal bərabərliyi göstərin.

Xətti regresiya tapşırığı, proqnozlaşdırılan dəyərlər ilə həqiqi etiketlər arasındakı kvadrat səhvlərin cəməsini minimallaşdıran ( \mathbf{w} ) parametr vektorunu tapmaqdır. ( X ) xüsusiyyətlər matrisidir və ölçüsü ( m \times n ) (burada ( m ) obyektlərin sayı, ( n ) xüsusiyyətlərin sayı), ( \mathbf{y} ) məqsəd dəyərləri vektorudur və ölçüsü ( m \times 1 ), ( \mathbf{w} ) isə parametr vektorudur və ölçüsü ( n \times 1 ). Bu tapşırıq funksiyanın minimallaşdırılması ilə formulə edilir:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

( \mathbf{w} )-ni tapmaq üçün, ( \mathbf{w} )-ə görə törəməni götürürük və sıfıra bərabər edirik:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Bundan, normal tənlik alınır:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Bu tənliyi həll edərək, analitik həll tapırıq:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Bu həll, ( X^T X ) matrisi qeyri-tek və ya tək deyil (invertible) olduqda mövcuddur. Əks halda, tənzimləmə və ya sayısal metodlar tətbiq edilir.