Czym jest checkpointing gradientu?

Checkpointing gradientu to technika optymalizacji pamięci podczas treningu głębokich sieci neuronowych. Pomysł polega na tym, aby nie zapisywać wszystkich pośrednich aktywacji podczas przejścia do przodu, lecz tylko niektóre punkty kontrolne (checkpoints). Podczas propagacji wstecznej brakujące aktywacje są odtwarzane przez ponowne obliczenie części przejścia do przodu.

Pozwala to znacznie zmniejszyć zużycie pamięci, co jest szczególnie ważne podczas trenowania bardzo głębokich modeli lub przy ograniczonych zasobach GPU. Jednakże zwiększa to czas treningu, ponieważ niektóre obliczenia muszą być powtórzone.

Przykład użycia w PyTorch:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # skomplikowana część modelu
    return x * x

output = checkpoint(custom_forward, input_tensor)

W ten sposób, gradient checkpointing to kompromis między czasem a pamięcią, umożliwiający trenowanie dużych modeli przy ograniczonych zasobach.