Wat is gradientaccumulatie en waarom is het nodig bij beperkt geheugen?

Gradientaccumulatie is een techniek waarmee modellen efficiënt kunnen worden getraind met een batchgrootte die groter is dan het GPU-geheugen toelaat, door de gradiënten over meerdere mini-batches op te stapelen voordat de gewichten worden bijgewerkt.

Wanneer het geheugen beperkt is, kan een grote batch niet in één keer worden geladen. In plaats daarvan verwerkt het model meerdere kleine batches achter elkaar, stapelt de gradiënten op (zonder de parameters bij te werken), en voert na een bepaald aantal van deze stappen één optimalisatiestap uit.

Dit stelt je in staat:

• om een grotere batchgrootte te emuleren, wat de stabiliteit en de kwaliteit van de training kan verbeteren.
• om geheugenbeperkingen van de GPU te omzeilen.

Voorbeeld van pseudocode in PyTorch:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Hier is accumulation_steps het aantal mini-batches waarna de gewichten worden bijgewerkt.