Gradient checkpointing nedir?

Gradient checkpointing, derin sinir ağlarının eğitiminde bellek optimizasyonu sağlayan bir tekniktir. Fikir, ileri geçiş sırasında tüm ara aktivasyonları kaydetmek yerine sadece bazı kontrol noktalarını (checkpoints) saklamaktır. Geri yayılım sırasında, eksik aktivasyonlar, ileri geçişin bir kısmını yeniden hesaplayarak yeniden oluşturulur.

Bu, özellikle çok derin modellerin eğitimi veya sınırlı GPU kaynaklarıyla çalışırken bellek kullanımını önemli ölçüde azaltır. Ancak, bu, bazı hesaplamaların tekrar yapılması gerektiği için eğitim süresini artırır.

PyTorch'ta kullanım örneği:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # modelin karmaşık kısmı
    return x * x

output = checkpoint(custom_forward, input_tensor)

Bu nedenle, gradient checkpointing, zaman ve bellek arasında bir uzlaşmadır ve sınırlı kaynaklarla büyük modellerin eğitimine olanak tanır.