Como se calcula a solução analítica para a regressão linear?

A solução analítica do problema de regressão linear baseada em álgebra matricial é fundamentada na fórmula da equação normal:

[ \theta = (X^T X)^{-1} X^T y ]

onde:

• (X) é a matriz de características (com uma coluna adicional de uns para o intercepto), de tamanho (m \times n), onde (m) é o número de objetos e (n) o número de características + 1.
• (y) é o vetor de valores alvo, de tamanho (m \times 1).
• (\theta) é o vetor de parâmetros do modelo, de tamanho (n \times 1).

Processo:

1. Formar a matriz de características (X) e o vetor de respostas (y).
2. Calcular (X^T X) e (X^T y).
3. Encontrar a matriz inversa ((X^T X)^{-1}).
4. Multiplicar ((X^T X)^{-1}) por (X^T y) para obter (\theta).

Esta solução minimiza a soma dos quadrados dos erros e fornece os parâmetros ótimos para um modelo linear sem usar métodos iterativos.