Gradient enişində x-in dəyişmə istiqamətini necə müəyyən etmək olar?

İtki enişində parametr ( x ) dəyişiklik istiqaməti, itki funksiyasının ( L(x) ) mənfi gradienti tərəfindən müəyyən edilir:

[ x_yeni = x_köhnə - \eta \nabla_x L(x_köhnə) ]

burada:

• ( \nabla_x L(x) ) — ( x ) ilə əlaqəli itki funksiyasının gradienti, ( L ) nin ən böyük artım istiqamətini göstərir.
• ( \eta > 0 ) — öyrənmə nisbətidir.

Gradient funksiyanın maksimum artım istiqamətini göstərdiyi üçün, onu minimallaşdırmaq üçün, parametr əks istiqamətdə — mənfi gradient üzrə — dəyişdirilir.

Bu şəkildə, mövcud nöqtədə gradient hesablanır və funksiyanın azalma istiqamətində hərəkət edilir, ( x ) dəyəri gradient və öyrənmə nisbətinə mütənasib olaraq tənzimlənir.