Koji algoritam je u osnovi modela?

Većina savremenih modela mašinskog učenja zasnovana je na algoritmima optimizacije, kao što je gradijentni spust, koji minimizira funkciju gubitka. U zavisnosti od tipa zadatka i modela, to mogu biti algoritmi linearne regresije, odlučivačka stabla, slučajne šume, podržane vektorske mašine (SVM), neuronske mreže i njihove varijacije (na primer, konvolucione ili rekurentne neuronske mreže).

Na primer, u neuronskim mrežama koristi se algoritam unazadnog širenja (backpropagation) za obučavanje težina mreže na osnovu gradijentnog spusta.

# Primer jednostavnog gradijentnog spusta za linearnu regresiju
import numpy as np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

w = 0.0  # težina
b = 0.0  # pomak
learning_rate = 0.01

for epoch in range(1000):
    y_pred = w * X + b
    error = y_pred - y
    grad_w = (2 / len(X)) * np.sum(error * X)
    grad_b = (2 / len(X)) * np.sum(error)
    w -= learning_rate * grad_w
    b -= learning_rate * grad_b

print(f"Obučena težina: {w}, pomak: {b}")

Dakle, algoritam zavisi od konkretnog modela, ali u osnovi se zasniva na optimizaciji parametara radi minimizacije greške.