Qu'est-ce que l'accumulation de gradients et pourquoi est-elle nécessaire en mémoire limitée?

L’accumulation de gradients est une technique permettant d’entraîner efficacement des modèles avec une taille de lot plus grande que la mémoire GPU ne le permet, en accumulant les gradients sur plusieurs mini-lots avant de mettre à jour les poids.

Lorsque la mémoire est limitée, il n’est pas possible de charger un grand lot en une seule fois. À la place, le modèle traite plusieurs petits lots successivement, en accumulant les gradients (sans mettre à jour les paramètres), puis après un certain nombre de ces étapes, effectue une étape d’optimisation.

Cela permet :

• d’émuler une taille de lot plus grande, ce qui peut améliorer la stabilité et la qualité de l’entraînement.
• de contourner les limitations de mémoire GPU.

Exemple de pseudocode en PyTorch :

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Ici, accumulation_steps est le nombre de mini-lots après lesquels les poids sont mis à jour.