Ինչպես որոշել x փոփոխության ուղղությունը գրադիենտային իջեցման ժամանակ?

Փոփոխության ուղղությունը պարամետրի ( x ) ի ժամանակ գրադիենտային իջեցման որոշվում է ֆունկցիայի կորուստ ( L(x) ) բացասական գրադիենտով այդ պարամետրի նկատմամբ:

[ x_նոր = x_հին - \eta \nabla_x L(x_հին) ]

որտեղ:

• ( \nabla_x L(x) ) — ֆունկցիայի կորուստի գրադիենտը ( x ) նկատմամբ, որը ցույց է տալիս ամենամեծ աճի ուղղությունը ( L )-ի:
• ( \eta > 0 ) — ուսուցման արագությունը:

Քանի որ գրադիենտը ցույց է տալիս ֆունկցիայի առավելագույն աճի ուղղությունը, այն նվազեցնելու համար, պարամետրը փոխվում է հակառակ ուղղությամբ — բացասական գրադիենտի համաձայն:

Այսպիսով, հաշվարկվում է գրադիենտը ընթացիկ կետում և շարժվում է ֆունկցիայի նվազման ուղղությամբ, կարգավորելով ( x ) գրադիենտի և ուսուցման արագության համապատասխան չափով։