Kas yra gradient checkpointing?

Gradient checkpointing yra atminties optimizavimo technika, naudojama mokant gilias neuronines tinklus. Idėja yra nesaugoti visų tarpinės aktyvacijos duomenų tiesioginio praeimo metu, o tik keletą kontrolinių taškų (checkpoints). Atgalinio sklidimo metu (backpropagation) trūkstamos aktyvacijos atkuriamos pakartotinai apskaičiuojant dalį tiesioginio praeimo.

Tai leidžia žymiai sumažinti atminties naudojimą, kas ypač svarbu mokant labai gilias modelius arba turint ribotus GPU išteklius. Tačiau tai padidina mokymosi laiką, nes kai kurie skaičiavimai turi būti pakartotinai atlikti.

PyTorch pavyzdys:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # sudėtinga modelio dalis
    return x * x

output = checkpoint(custom_forward, input_tensor)

Taigi, gradient checkpointing yra kompromisas tarp laiko ir atminties, leidžiantis mokyti didelius modelius su ribotais ištekliais.