Как работи градиентният спуск за намиране на параметрите на модела?

Градиентният спуск е итеративен алгоритъм за оптимизация, използван за намиране на параметрите на модела, които минимизират функцията на загубите. Идеята е да коригираме параметрите стъпка по стъпка в противоположната на градиента посока, тъй като градиентът показва посоката на най-голямо увеличение.

Процесът изглежда така:

1. Инициализираме параметрите на модела с произволни стойности.

2. Изчисляваме градиента на функцията на загубите спрямо параметрите — вектор на частните производни.

3. Актуализираме параметрите, движейки се в посока на намаляване на функцията на загубите:

   ( \theta := \theta - \alpha \nabla L(\theta) )

   където ( \alpha ) е скоростта на обучение.

4. Повтаряме стъпки 2-3 до сближаване или достигане на максималния брой итерации.

Пример на Python с numpy:

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — матрица на признаците, y — целева променлива, theta — параметри на модела

По този начин, градиентният спуск позволява да се намерят оптималните параметри, като се минимизира грешката на модела.