Градиент түшүүдө x өзгөрүүнүн багытын кантип аныктоо керек?

Параметр ( x ) өзгөрүү багыты градиент түшүүдө ( L(x) ) функциясынын терс градиенти аркылуу аныкталат:

[ x_жаңы = x_эски - \eta \nabla_x L(x_эски) ]

мында:

• ( \nabla_x L(x) ) — ( x ) боюнча зыян функциясынын градиенти, ал ( L )нин эң чоң өсүш багытын көрсөтөт.
• ( \eta > 0 ) — үйрөнүү ылдамдыгы.

Градиент функциянын эң чоң өсүш багытын көрсөтүп тургандыктан, аны минималдаштыруу үчүн, параметр тескери багытта — терс градиент боюнча — өзгөртүлөт.

Ошентип, учурдагы чекитте градиент эсептелип, функциянын азайыш багытына карай кыймыл жасалат, ( x ) градиентке жана үйрөнүү ылдамдыгына пропорционалдуу түрдө жөнгө салынады.