Como determinar a direção da mudança de x na descida do gradiente?

A direção da alteração do parâmetro ( x ) na descida do gradiente é determinada pelo gradiente negativo da função de perda ( L(x) ) relativamente a esse parâmetro:

[ x_{novo} = x_{antigo} - \eta \nabla_x L(x_{antigo}) ]

onde:

• ( \nabla_x L(x) ) — o gradiente da função de perda relativamente a ( x ), indicando a direção de maior aumento de ( L ).
• ( \eta > 0 ) — o passo de aprendizagem.

Como o gradiente indica a direção do aumento máximo da função, para minimizá-la, o parâmetro é alterado na direção oposta — pelo gradiente negativo.

Assim, calcula-se o gradiente no ponto atual e move-se na direção de diminuição da função, ajustando ( x ) por uma quantidade proporcional ao gradiente e ao passo de aprendizagem.