Чӣ гуна масъалаи регрессияи хаттӣ ба таври аналитикӣ ҳал карда мешавад? Муайян кунед баробарии оддӣ.

Линей регрессиясининг вазифаси — прогноз қилинган қийматлар ва ҳақиқий белгилар ўртасидаги квадрат хатоларнинг жамланмасини минималлаштирувчи ( \mathbf{w} ) параметр векторини топиш. Қуйидаги шартлар бўйича, ( X ) — хусусиятлар матрицаси, у ( m \times n ) ўлчамда (бу ерда ( m ) — объектлар сони, ( n ) — хусусиятлар сони), ( \mathbf{y} ) — мақсад қийматлари вектори, у ( m \times 1 ) ўлчамда, ва ( \mathbf{w} ) — параметрлар вектори, у ( n \times 1 ) ўлчамда. Мазкур вазифа функцияни минималлаштириш орқали формулаланади:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Энг яхши ( \mathbf{w} )-ни топиш учун, ( \mathbf{w} ) бўйича туғилишни оламиз ва уни нолга тенглаймиз:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Шу ердан, нормал тенглама оламиз:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Ушбу тенгламани ечиб, аналитик ечимни топамиз:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Бу ечим, агар ( X^T X ) матрица бузилмаган (қайтарилган) бўлса мавжуд. Агар бузилган бўлса, регуляция ёки рақамли усуллар қўлланади.