Vorbește despre acumularea de gradienti. În ce cazuri se aplică?

Acumularea gradientilor este o tehnică utilizată în antrenarea rețelelor neuronale, în care gradientii sunt acumulați pe mai multe mini-batch-uri înainte de a actualiza greutățile modelului. Acest lucru permite simularea eficientă a unei dimensiuni de batch mai mari decât cea care poate fi fizic încăpățânată în memoria GPU.

Se aplică în cazurile în care, din cauza limitărilor de memorie, nu este posibil să se utilizeze o dimensiune mare de batch, iar o dimensiune mare de batch este importantă pentru stabilitatea și calitatea antrenamentului. În loc să actualizeze greutățile după fiecare mini-batch mic, gradientii sunt adunați (acumulați) pe mai multe iterații, apoi se face un pas de optimizare.

Exemplu de pseudocod:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Astfel, modelul este actualizat mai rar, dar cu un gradient echivalent cu cel al unui batch mai mare.