Ինչպես է աշխատում գրադիենտային իջեցումը մոդելի պարամետրերը որոնելու համար։

Գրադիենտային անկում-ը՝ դա կրկնվող օպտիմալացման ալգորիթմ է, որը օգտագործվում է մոդելի պարամետրերը գտնելու համար, որոնք նվազեցնում են կորուստի ֆունկցիան։ Իդեան այն է, որ քայլ առ քայլ ուղղենք պարամետրերը հակառակ ուղղությամբ կորուստի ֆունկցիայի գրադիենտի, քանի որ գրադիենտը ցույց է տալիս ամենամեծ աճի ուղղությունը։

Պրոցեսը հետևյալն է.

1. Մոդելի պարամետրերը սկսում ենք պատահական արժեքներով։

2. Հաշվարկում ենք կորուստի ֆունկցիայի գրադիենտը պարամետրերի նկատմամբ՝ մասնավոր դեիվատիվների վեկտոր։

3. Թարմացնում ենք պարամետրերը՝ շարժվելով նվազեցման ուղղությամբ՝

   ( \theta := \theta - \alpha \nabla L(\theta) )

   որտեղ ( \alpha ) ուսուցման արագությունն է։

4. Կրկնում ենք 2-3 քայլերը մինչև կոնվերգենցիա կամ առավելագույն կրկնությունների քանակի հասնելը։

Python-ով numpy օգտագործելով օրինակ.

import numpy as np

def gradient_descent(x, y, theta, learning_rate, iterations):
    m = len(y)
    for _ in range(iterations):
        predictions = x.dot(theta)
        errors = predictions - y
        gradient = (1/m) * x.T.dot(errors)
        theta = theta - learning_rate * gradient
    return theta

# x — հատկանիշների մատրիցա, y — նպատակային փոփոխական, theta — մոդելի պարամետրեր

Այսպիսով, գրադիենտային անկումը թույլ է տալիս գտնել օպտիմալ պարամետրերը՝ նվազեցնելով մոդելի սխալը։