Πώς καθορίζεται η κατεύθυνση της μεταβολής του x κατά την κατηφορική κατεύθυνση;

Η κατεύθυνση της αλλαγής της παραμέτρου ( x ) κατά την κατιούσα του gradient καθορίζεται από το αρνητικό gradient της λειτουργίας απώλειας ( L(x) ) σχετικά με αυτήν την παράμετρο:

[ x_νέο = x_παλιό - \eta \nabla_x L(x_παλιό) ]

όπου:

• ( \nabla_x L(x) ) — το gradient της λειτουργίας απώλειας σχετικά με ( x ), που δείχνει την κατεύθυνση της μεγαλύτερης αύξησης του ( L ).
• ( \eta > 0 ) — το ρυθμό μάθησης.

Επειδή το gradient δείχνει την κατεύθυνση της μέγιστης αύξησης της λειτουργίας, για να την ελαχιστοποιήσουμε, ο παράμετρος τροποποιείται στην αντίθετη κατεύθυνση — σύμφωνα με το αρνητικό gradient.

Έτσι, υπολογίζεται το gradient στο τρέχον σημείο και κινείται προς την κατεύθυνση της μείωσης της λειτουργίας, ρυθμίζοντας ( x ) ανάλογα με το gradient και το ρυθμό μάθησης.