Jaki algorytm leży u podstaw modelu?

Większość nowoczesnych modeli uczenia maszynowego opiera się na algorytmach optymalizacji, takich jak spadek gradientu, który minimalizuje funkcję straty. W zależności od rodzaju zadania i modelu, mogą to być algorytmy regresji liniowej, drzewa decyzyjne, lasy losowe, maszyny wektorów nośnych (SVM), sieci neuronowe i ich warianty (np. konwolucyjne lub rekurencyjne sieci neuronowe).

Na przykład, w sieciach neuronowych używa się algorytmu propagacji wstecznej (backpropagation) do trenowania wag sieci na podstawie spadku gradientu.

# Przykład prostego spadku gradientu dla regresji liniowej
import numpy as np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

w = 0.0  # waga
b = 0.0  # przesunięcie
learning_rate = 0.01

for epoch in range(1000):
    y_pred = w * X + b
    error = y_pred - y
    grad_w = (2 / len(X)) * np.sum(error * X)
    grad_b = (2 / len(X)) * np.sum(error)
    w -= learning_rate * grad_w
    b -= learning_rate * grad_b

print(f"Wytrenowana waga: {w}, przesunięcie: {b}")

Zatem, algorytm zależy od konkretnego modelu, ale w podstawie leży optymalizacja parametrów w celu minimalizacji błędu.