Mis on gradient checkpointing?

Gradient checkpointing on mälu optimeerimise tehnika sügavate närvivõrkude treenimisel. Mõte on see, et otseedastuse ajal ei salvestata kõiki vaheaktiveerimisi, vaid ainult mõned kontrollpunktid (checkpoints). Tagasipropagatsiooni ajal taastatakse puuduvad aktiveerimised uuesti arvutades osa otseedastusest.

See võimaldab märkimisväärselt vähendada mälu kasutust, mis on eriti oluline väga sügavate mudelite treenimisel või piiratud GPU ressurssidega. Kuid see suurendab treeninguaega, kuna mõned arvutused tuleb uuesti teha.

PyTorch näide:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # keeruline mudeli osa
    return x * x

output = checkpoint(custom_forward, input_tensor)

Seega on gradient checkpointing kompromiss aja ja mälu vahel, võimaldades treenida suuri mudeleid piiratud ressurssidega.