Ինչպե՞ս է լուծվում գծային ռեգրեսիայի խնդիրն ըստ վերլուծական մեթոդների: Ներկայացրեք նորմալ հավասարումը։

Գծային ռեգրեսիայի խնդիրն է գտնել ( \mathbf{w} ) պարամետրային վեկտորը, որը նվազեցնում է կանխատեսված արժեքների և իրական նշանների միջև քառակուսային սխալների գումարը: Նկատենք, որ ( X ) — հատկությունների մատրիցա է չափերով ( m \times n ) (որտեղ ( m ) — օբյեկտների քանակը, ( n ) — հատկությունների քանակը), ( \mathbf{y} ) — նպատակային արժեքների վեկտոր է չափերով ( m \times 1 ), իսկ ( \mathbf{w} ) — պարամետրերի վեկտոր է չափերով ( n \times 1 ): Այս խնդիրը ձևակերպվում է որպես ֆունկցիայի նվազեցում.

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Որպեսզի գտնենք օպտիմալ ( \mathbf{w} ), վերցնում ենք ( \mathbf{w} )-ի նկատմամբ դեիվատիվը և հավասարեցնում զրոյի:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Այդտեղից ստանում ենք նորմալ հավասարում:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Այս հավասարումը լուծելով, գտնում ենք անալիտիկական լուծումը:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Այս լուծումը գոյություն ունի, եթե ( X^T X ) մատրիցը ոչ սինգուլյար (վերադարձելի) է: Եթե սինգուլյար է, կիրառվում է կանոնավորեցում կամ թվային մեթոդներ։