Cos'è il checkpointing del gradiente?

Il checkpointing del gradiente è una tecnica di ottimizzazione della memoria durante l'addestramento di reti neurali profonde. L'idea è di non salvare tutte le attivazioni intermedie durante il passaggio in avanti, ma solo alcuni punti di controllo (checkpoints). Durante la retropropagazione, le attivazioni mancanti vengono ricostruite ricalcolando parte del passaggio in avanti.

Questo permette di ridurre significativamente il consumo di memoria, il che è particolarmente importante quando si addestrano modelli molto profondi o con risorse GPU limitate. Tuttavia, ciò aumenta il tempo di addestramento, poiché alcune computazioni devono essere ripetute.

Esempio di utilizzo in PyTorch:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # parte complessa del modello
    return x * x

output = checkpoint(custom_forward, input_tensor)

Pertanto, il checkpointing del gradiente è un compromesso tra tempo e memoria, che consente di addestrare modelli grandi con risorse limitate.