Кадом алгоритм дар асоси модели қарор дорад?

Базаи аксари моделҳои муосири омӯзиши мошинҳо алгоритмҳои оптимизатсия мебошанд, масалан, пастшавии градиент, ки функсияи талафотро кам мекунад. Дар асоси навъ ва модели вазифа, инҳо метавонанд алгоритмҳои регрессияи хаттӣ, дарахтони қарор, ҷангалҳои тасодуфӣ, мошинҳои вектории дастгирӣ (SVM), шабакаҳои нейронӣ ва ихтилосҳои онҳо бошанд (масалан, шабакаҳои нейронӣ конволютсионӣ ё рекуррентӣ).

Масалан, дар шабакаҳои нейронӣ, алгоритми паҳншавии пасгардон (backpropagation) барои омӯзиши вазнҳои шабака асосан ба асоси пастшавии градиент истифода мешавад.

# Мисоли соддаии пастшавии градиент барои регрессияи хаттӣ
импорт numpy ҳамчун np

X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

w = 0.0  # вазн
b = 0.0  # смес
суръати омӯзиш = 0.01

барои давра дар доираи(1000):
    y_pred = w * X + b
    хато = y_pred - y
    grad_w = (2 / дарозии(X)) * np.sum(хато * X)
    grad_b = (2 / дарозии(X)) * np.sum(хато)
    w -= суръати омӯзиш * grad_w
    b -= суръати омӯзиш * grad_b

print(f"Вазни омӯзишшуда: {w}, смес: {b}")

Бинобар ин, алгоритм аз модели мушаххас вобаста аст, аммо дар асоси он оптимизатсияи параметрҳо барои кам кардани хато қарор дорад.