Šta je gradient checkpointing?

Gradient checkpointing je tehnika optimizacije memorije tokom obuke dubokih neuronskih mreža. Ideja je da se tokom prolaza unapred ne čuvaju sve međuzavisne aktivacije, već samo neki kontrolni punktovi (checkpoints). Tokom unazadnog prolaza (backpropagation), nedostajuće aktivacije se rekonstrušu ponovnim izračunavanjem dela unaprednog prolaza.

Ovo omogućava značajno smanjenje potrošnje memorije, što je posebno važno pri obuci veoma dubokih modela ili sa ograničenim GPU resursima. Međutim, to produžava vreme obuke, jer je potrebno ponovo izračunati neke delove.

Primer upotrebe u PyTorch:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # složeni deo modela
    return x * x

output = checkpoint(custom_forward, input_tensor)

Tako, gradient checkpointing je kompromis između vremena i memorije, omogućavajući obuku velikih modela sa ograničenim resursima.