Kako funkcioniše gradijentni spust za pronalaženje parametara modela?

Градијентни пад је итеративни алгоритам оптимизације који се користи за проналажење параметара модела који минимизирају функцију губитка. Идеја је да корак по корак исправљамо параметре у супротном смеру од градијента функције губитка, јер градијент указује на смер највећег пораста.

Процес изгледа овако:

1. Иницијализујемо параметре модела са случајним вредностима.

2. Израчунавамо градијент функције губитка у односу на параметре — вектор делимичних деривата.

3. Ажурирамо параметре кроз кретање у смеру смањења функције губитка:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   где је ( \alpha ) брзина учења.

4. Понављамо кораке 2-3 до сходимости или постизања максималног броја итерација.

Пример у Питону са numpy:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — матрица карактеристика, y — циљна варијабла, theta — параметри модела

Овим путем, градијентни пад омогућава проналажење оптималних параметара минимизирањем грешке модела.