Что происходит при вызове loss.backward()? Что такое градиент и как он вычисляется?

Вызов loss.backward() в PyTorch инициирует процесс обратного распространения ошибки (backpropagation). Это означает, что вычисляется градиент функции потерь (loss) по отношению к параметрам модели (например, весам нейронной сети). Градиент — это вектор частных производных, показывающий направление и скорость изменения функции потерь при изменении параметров.

Градиенты вычисляются с помощью автоматического дифференцирования: PyTorch строит вычислительный граф во время прямого прохода, а затем, при вызове backward(), проходит по графу в обратном направлении, применяя правило цепочки для вычисления производных.

Пример:

import torch

x = torch.tensor([2.0], requires_grad=True)
y = x ** 2  # y = x^2
loss = y
loss.backward()
print(x.grad)  # Выведет 4.0, т.к. d(y)/d(x) = 2*x = 4