Gradient birikimi nedir ve sınırlı bellekte neden gereklidir?

Gradyan biriktirme, GPU belleğinin izin verdiğinden daha büyük bir yığın boyutuyla modelleri verimli bir şekilde eğitmeye olanak tanıyan bir tekniktir; birkaç mini-yığın boyunca gradyanları biriktirerek ağırlıkları güncellemeden önce.

Bellek sınırlıysa, büyük bir yığını tamamen yüklemek mümkün değildir. Bunun yerine, model birkaç küçük yığını ardışık olarak işler, gradyanları (parametreleri güncellemeden) biriktirir ve belirli sayıda adım sonra bir optimizasyon adımı gerçekleştirir.

Bu şunlara olanak tanır:

• Daha büyük bir yığın boyutunu taklit etmek, bu da eğitim kararlılığını ve kalitesini artırabilir.
• GPU belleği sınırlamalarını aşmak.

PyTorch'ta örnek pseudokod:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Burada, accumulation_steps, ağırlıkların güncellendiği mini-yığın sayısıdır.