Gradient tushishida x o'zgarishining yo'nishini qanday aniqlash mumkin?

Gradientni pasaytirishda parametr ( x ) o'zgarishining yo'nalishi, bu parametr bo'yicha yo'qotish funktsiyasining ( L(x) ) manfiy gradienti tomonidan belgilanadi:

[ x_yangilash = x_eskisi - \eta \nabla_x L(x_eskisi) ]

bu yerda:

• ( \nabla_x L(x) ) — ( x ) bo'yicha yo'qotish funktsiyasining gradienti, bu ( L ) ning eng katta oshishini ko'rsatadi.
• ( \eta > 0 ) — o'qitish qadamidir.

Gradient funktsiyaning maksimal oshish yo'nalishini ko'rsatgani uchun, uni minimallashtirish uchun, parametr teskari yo'nalishda — manfiy gradient bo'yicha — o'zgartiriladi.

Shu tarzda, hozirgi nuqtada gradient hisoblanadi va funktsiyaning kamayish yo'nalishida harakat qilinadi, ( x ) ni gradient va o'qitish qadamiga proportsional bo'lgan miqdorda sozlab.