როგორ განვსაზღვროთ x-ის ცვლილების მიმართულება გრადიანტული დაშვების დროს?

პარამეტრის ( x ) ცვლილების მიმართულება გრედიენტის შემცირების დროს განსაზღვრულია ზიანის ფუნქციის ( L(x) ) ნეგატიური გრედიენტით ამ პარამეტრის მიმართ:

[ x_ახალი = xძველი - \eta \nabla_x L(xძველი) ]

სადაც:

• ( \nabla_x L(x) ) — ზიანის ფუნქციის გრედიენტი ( x ) მიმართ, რომელიც მიუთითებს ყველაზე დიდ ზრდის მიმართულებაზე ( L ).
• ( \eta > 0 ) — სწავლების სიჩქარე.

მიუხედავად იმისა, რომ გრედიენტი მიუთითებს ფუნქციის მაქსიმალური ზრდის მიმართულებას, მის მინიმიზაციისთვის პარამეტრი იცვლება საპირისპირო მიმართულებით — ნეგატიური გრედიენტის მიხედვით.

ამგვარად, ამჟამინდელ წერტილში გამოითვლება გრედიენტი და მოძრაობა ხდება ფუნქციის შემცირების მიმართულებით, ( x ) კი კორექტირდება გრედიენტის და სწავლების სიჩქარის პროპორციულად.