Como resolver analiticamente o problema de regressão linear? Apresente a equação normal.

A tarefa de regressão linear consiste em encontrar um vetor de parâmetros ( \mathbf{w} ) que minimize a soma dos quadrados dos erros entre os valores previstos e as etiquetas reais. Seja ( X ) a matriz de características de tamanho ( m \times n ) (onde ( m ) é o número de objetos e ( n ) o número de características), ( \mathbf{y} ) o vetor de valores alvo de tamanho ( m \times 1 ), e ( \mathbf{w} ) o vetor de parâmetros de tamanho ( n \times 1 ). Então, a tarefa é formulada como a minimização da função:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Para encontrar ( \mathbf{w} ) ótimo, tomamos a derivada em relação a ( \mathbf{w} ) e igualamos a zero:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

Daqui, obtemos a equação normal:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Resolvendo esta equação, encontramos a solução analítica:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Esta solução existe se a matriz ( X^T X ) for não singular (invertível). Se for singular, aplicam-se regularização ou métodos numéricos.