Parla di accumulo di gradienti. In quali casi viene applicato?

L'accumulo di gradienti è una tecnica utilizzata nell'addestramento delle reti neurali, in cui i gradienti vengono accumulati su più mini-batch prima di aggiornare i pesi del modello. Questo permette di simulare efficacemente una dimensione di batch più grande di quella che può essere fisicamente contenuta nella memoria GPU.

Viene applicata nei casi in cui, a causa di limitazioni di memoria, non è possibile utilizzare una grande dimensione di batch, e una grande dimensione di batch è importante per la stabilità e la qualità dell'addestramento. Invece di aggiornare i pesi dopo ogni mini-batch, i gradienti vengono sommati (accumulati) per diverse iterazioni, e poi si effettua un passo di ottimizzazione.

Esempio di pseudocodice:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

In questo modo, il modello viene aggiornato meno frequentemente, ma con un gradiente equivalente a un batch più grande.