Chiziqli regressiya muammosini analitik tarzda qanday hal qilish mumkin? Normal tenglamani ko'rsating.

Линей регрессиясының міндеті — болжамдалған мәндер мен нақты белгілер арасындағы квадраттық қателіктердің сомасын минимизациялайтын ( \mathbf{w} ) параметрлер векторын табу. Берілсін ( X ) — ( m \times n ) өлшемді сипаттамалар матрицасы (мұнда ( m ) — объектілер саны, ( n ) — сипаттамалар саны), ( \mathbf{y} ) — мақсат мәндерінің ( m \times 1 ) өлшемді векторы, ал ( \mathbf{w} ) — ( n \times 1 ) өлшемді параметрлер векторы. Бұл тапсырма функцияны минимизациялау арқылы формулаланады:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Оптималды ( \mathbf{w} )-ны табу үшін, ( \mathbf{w} )-ге қатысты туындыны аламыз және оны нөлге теңестіреміз:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Осыдан, қалыпты теңдеу алынады:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Бұл теңдеуді шешу арқылы аналитикалық шешім табамыз:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Бұл шешім, егер ( X^T X ) матрицасы бұрылмайтын (керіленетін) болса, бар. Егер бұрылмайтын болса, регуляция немесе сандық әдістер қолданылады.