Разкажете ми за натрупването на градиенти. В кои случаи се прилага?

Накопяването на градиенти е техника, използвана при обучението на невронни мрежи, при която градиентите се натрупват за няколко мини-батча преди актуализиране на теглата на модела. Това позволява ефективно имитиране на по-голям размер на батча, отколкото физически може да се побере в паметта на GPU.

Тя се прилага в случаи, когато поради ограничения в паметта не е възможно да се използва голям размер на батча, а големият размер на батча е важен за стабилността и качеството на обучението. Вместо да се актуализират теглата след всеки малък батч, градиентите се събират (акумулират) за няколко итерации, след което се извършва един стъпка на оптимизация.

Пример за псевдокод:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

По този начин моделът се актуализира по-рядко, но с градиент, еквивалентен на по-голям батч.