Gradyan inişi sırasında x'in değişim yönü nasıl belirlenir?

Gradyan inişinde parametre ( x ) değişimi yönü, kayıp fonksiyonunun ( L(x) ) negatif gradyanı tarafından belirlenir:

[ x_yeni = x_eski - \eta \nabla_x L(x_eski) ]

burada:

• ( \nabla_x L(x) ) — kayıp fonksiyonunun ( x ) ile ilgili gradyanı, ( L )'nin en büyük artış yönünü gösterir.
• ( \eta > 0 ) — öğrenme oranı.

Fonksiyonun maksimum artış yönünü gösterdiği için, fonksiyonu minimize etmek amacıyla, parametre ters yönde — negatif gradyan boyunca — değiştirilir.

Bu nedenle, mevcut noktada gradyan hesaplanır ve fonksiyonun azalma yönünde hareket edilir, ( x ) değeri gradyan ve öğrenme oranına orantılı olarak ayarlanır.