Qual algoritmo está na base do modelo?

A base da maioria dos modelos modernos de aprendizagem automática são algoritmos de otimização, como o descida do gradiente, que minimiza a função de perda. Dependendo do tipo de tarefa e do modelo, estes podem ser algoritmos de regressão linear, árvores de decisão, florestas aleatórias, métodos de vetores de suporte (SVM), redes neuronais e suas variações (por exemplo, redes neuronais convolucionais ou recorrentes).

Por exemplo, em redes neuronais, é utilizado o algoritmo de retropropagação para treinar os pesos da rede com base na descida do gradiente.

# Exemplo de descida do gradiente simples para regressão linear
import numpy as np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

w = 0.0  # peso
b = 0.0  # viés
learning_rate = 0.01

for epoch in range(1000):
    y_pred = w * X + b
    error = y_pred - y
    grad_w = (2 / len(X)) * np.sum(error * X)
    grad_b = (2 / len(X)) * np.sum(error)
    w -= learning_rate * grad_w
    b -= learning_rate * grad_b

print(f"Peso treinado: {w}, viés: {b}")

Portanto, o algoritmo depende do modelo específico, mas na sua base está a otimização dos parâmetros para minimizar o erro.