Ce este checkpointing-ul gradientului?

Checkpointing-ul gradient este o tehnică de optimizare a memoriei în timpul antrenamentului rețelelor neuronale profunde. Ideea este de a nu salva toate activările intermediare în timpul trecerii directe, ci doar câteva puncte de control (checkpoints). În timpul retropropagării, activările lipsă sunt reconstruite prin recalcularea unei părți a trecerii directe.

Aceasta permite reducerea semnificativă a consumului de memorie, ceea ce este deosebit de important atunci când se antrenează modele foarte profunde sau cu resurse GPU limitate. Cu toate acestea, crește timpul de antrenament, deoarece unele calcule trebuie repetate.

Exemplu de utilizare în PyTorch:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # parte complexă a modelului
    return x * x

output = checkpoint(custom_forward, input_tensor)

Astfel, gradient checkpointing reprezintă un compromis între timp și memorie, permițând antrenarea modelelor mari cu resurse limitate.