Como resolvemos um problema de regressão linear se não usarmos uma fórmula explícita?

Se não usar uma fórmula explícita para resolver o problema de regressão linear (por exemplo, a equação normal), geralmente aplicam-se métodos numéricos de otimização, como o gradiente descendente.

A ideia é atualizar iterativamente os parâmetros do modelo ( pesos), minimizando a função de perda (por exemplo, erro quadrático médio). Em cada passo, calcula-se o gradiente da função de perda em relação aos parâmetros, e estes são ajustados na direção de reduzir o erro.

Exemplo em Python usando gradiente descendente:

import numpy as np

# X - matriz de características, y - variável alvo
# Adicionamos uma coluna de uns para o termo independente
X_b = np.c_[np.ones((len(X), 1)), X]

# Inicialização dos pesos
theta = np.random.randn(X_b.shape[1], 1)

learning_rate = 0.01
n_iterations = 1000
m = len(X_b)

for iteration in range(n_iterations):
    gradients = 2/m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

print("Parâmetros ótimos:", theta)

Dessa forma, sem uma fórmula explícita, usamos uma abordagem iterativa para aproximar os parâmetros ótimos.