Welk algoritme ligt ten grondslag aan het model?

De basis van de meeste moderne machine learning-modellen zijn optimalisatie-algoritmen zoals gradient descent, dat de verliesfunctie minimaliseert. Afhankelijk van het type taak en model kunnen dit lineaire regressie-algoritmen, beslissingsbomen, willekeurige bossen, support vector machines (SVM), neurale netwerken en hun variaties (bijvoorbeeld convolutionele of recurrente neurale netwerken) zijn.

Bijvoorbeeld, in neurale netwerken wordt het backpropagation-algoritme gebruikt om de gewichten van het netwerk te trainen op basis van gradient descent.

# Voorbeeld van eenvoudige gradient descent voor lineaire regressie
import numpy as np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

w = 0.0  # gewicht
b = 0.0  # bias
learning_rate = 0.01

for epoch in range(1000):
    y_pred = w * X + b
    error = y_pred - y
    grad_w = (2 / len(X)) * np.sum(error * X)
    grad_b = (2 / len(X)) * np.sum(error)
    w -= learning_rate * grad_w
    b -= learning_rate * grad_b

print(f"Getrainde gewicht: {w}, bias: {b}")

Dus, het algoritme hangt af van het specifieke model, maar in de basis ligt de optimalisatie van parameters om de fout te minimaliseren.