Линейдүү регрессия маселесин аналитикалык жол менен кантип чечсе болот? Нормалдык теңдеону көрсөтүңүз.

Линейдүү регрессиянын милдети — болжолдонгон маанилер менен чындык белгилеринин ортосундагы квадратык каталардын жыйнагын минималдаштырган ( \mathbf{w} ) параметрлер векторун табуу. Берилсин ( X ) — мүнөздөмөлөр матрицасы, өлчөмү ( m \times n ) (мында ( m ) — объекттер саны, ( n ) — мүнөздөмөлөрдүн саны), ( \mathbf{y} ) — максаттык маанилер вектору, өлчөмү ( m \times 1 ), жана ( \mathbf{w} ) — параметрлер вектору, өлчөмү ( n \times 1 ). Миссия функцияны минималдаштырууга негизделген:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Оптималдуу ( \mathbf{w} )-ни табуу үчүн, ( \mathbf{w} )-гө карата туундусун алабыз жана аны нөлгө барабар кылабыз:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Андан кийин, нормалдуу теңдеме чыгат:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Бул теңдемени чечип, аналитикалык чечимди табабыз:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Бул чечим бар, эгер ( X^T X ) матрица бузулбаган (кайтарымдуу) болсо. Эгер бузулса, регуляциялоо же сандык ыкмалар колдонулат.