Que se passe-t-il lors de l'appel à loss.backward() ? Qu'est-ce que le gradient et comment est-il calculé ?

L'appel à loss.backward() dans PyTorch initie le processus de rétropropagation. Cela signifie que le gradient de la fonction de perte (loss) par rapport aux paramètres du modèle (par exemple, les poids du réseau neuronal) est calculé. Le gradient est un vecteur de dérivées partielles indiquant la direction et la vitesse de changement de la fonction de perte lors de la modification des paramètres.

Les gradients sont calculés à l'aide de la différenciation automatique : PyTorch construit un graphe de calcul lors de la passe directe, puis, lors de l'appel à backward(), il parcourt le graphe en sens inverse, en appliquant la règle de la chaîne pour calculer les dérivées.

Exemple :

import torch

x = torch.tensor([2.0], requires_grad=True)
y = x ** 2  # y = x^2
loss = y
loss.backward()
print(x.grad)  # Affichera 4.0, car d(y)/d(x) = 2*x = 4