¿Cómo se resuelve analíticamente el problema de regresión lineal? Presente la ecuación normal.

La tarea de la regresión lineal consiste en encontrar un vector de parámetros ( \mathbf{w} ) que minimice la suma de los errores cuadráticos entre los valores predichos y las etiquetas reales. Sea ( X ) la matriz de características de tamaño ( m \times n ) (donde ( m ) es el número de objetos y ( n ) el número de características), ( \mathbf{y} ) el vector de valores objetivo de tamaño ( m \times 1 ), y ( \mathbf{w} ) el vector de parámetros de tamaño ( n \times 1 ). Entonces, la tarea se formula como la minimización de la función:

[ J(\mathbf{w}) = | X \mathbf{w} - \mathbf{y} |^2 = (X \mathbf{w} - \mathbf{y})^T (X \mathbf{w} - \mathbf{y}) ]

Para encontrar ( \mathbf{w} ) óptimo, tomamos la derivada respecto a ( \mathbf{w} ) y la igualamos a cero:

[ \frac{\partial J}{\partial \mathbf{w}} = 2 X^T (X \mathbf{w} - \mathbf{y}) = 0 ]

De aquí, obtenemos la ecuación normal:

[ X^T X \mathbf{w} = X^T \mathbf{y} ]

Resolviendo esta ecuación, encontramos la solución analítica:

[ \mathbf{w} = (X^T X)^{-1} X^T \mathbf{y} ]

Esta solución existe si la matriz ( X^T X ) es no singular (invertible). Si es singular, se aplican regularización o métodos numéricos.