¿Cómo resolvemos un problema de regresión lineal si no usamos una fórmula explícita?

Si no se utiliza una fórmula explícita para resolver el problema de regresión lineal (por ejemplo, la ecuación normal), generalmente se emplean métodos numéricos de optimización, como el descenso de gradiente.

La idea es actualizar iterativamente los parámetros del modelo (pesos), minimizando la función de pérdida (por ejemplo, el error cuadrático medio). En cada paso, se calcula el gradiente de la función de pérdida respecto a los parámetros, y estos se ajustan en la dirección de reducir el error.

Ejemplo en Python usando descenso de gradiente:

import numpy as np

# X - matriz de características, y - variable objetivo
# Añadimos una columna de unos para el término independiente
X_b = np.c_[np.ones((len(X), 1)), X]

# Inicialización de pesos
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Parámetros óptimos:", theta)

De esta manera, sin una fórmula explícita, utilizamos un enfoque iterativo para aproximar los parámetros óptimos.