Kas ir gradient checkpointing?

Gradient checkpointing ir tehnika, kas optimizē atmiņu dziļo neironu tīklu apmācībā. Ideja ir tāda, ka tieši priekšpārraides laikā netiek saglabātas visas starpposma aktivācijas, bet tikai dažas kontroles punktus (checkpoints). Atpakaļpropagācijas laikā trūkstošās aktivācijas tiek atjaunotas, atkārtoti aprēķinot daļu no priekšpārnes.

Tas ļauj būtiski samazināt atmiņas patēriņu, kas ir īpaši svarīgi, apmācot ļoti dziļus modeļus vai ar ierobežotiem GPU resursiem. Tomēr tas palielina apmācības laiku, jo dažus aprēķinus ir jāatkārto.

PyTorch piemērs:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # sarežģīta modeļa daļa
    return x * x

output = checkpoint(custom_forward, input_tensor)

Tādējādi, gradient checkpointing ir kompromiss starp laiku un atmiņu, kas ļauj apmācīt lielus modeļus ar ierobežotiem resursiem.