Fale sobre o algoritmo de regressão linear: como ele funciona, o que é treinado e se há uma solução analítica.

A regressão linear é um método de aprendizagem de máquina para modelar a dependência entre variáveis independentes (características) e uma variável dependente (objetivo). O algoritmo tenta ajustar os parâmetros (coeficientes) de uma função linear para minimizar o erro entre os valores previstos e reais.

Um vetor de coeficientes ( \mathbf{w} ) e um deslocamento ( b ) são treinados no modelo:

[ y = \mathbf{w}^T \mathbf{x} + b ]

O objetivo é minimizar a função de perda, geralmente o erro quadrático médio (MSE):

[ L(\mathbf{w}, b) = \frac{1}{n} \sum_{i=1}^n (y_i - (\mathbf{w}^T \mathbf{x}_i + b))^2 ]

Existe uma solução analítica expressa pela equação normal:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

onde ( X ) é a matriz de características, ( \mathbf{y} ) é o vetor de valores alvo. Essa solução é eficiente para conjuntos de dados pequenos e médios, mas para tamanhos grandes ou multicolinearidade, é preferível usar métodos numéricos (gradiente descendente).