Какво е натрупване на градиенти и защо е необходимо при ограничена памет?

Накопяването на градиенти е техника, която позволява ефективно обучение на модели с по-голям размер на партида, отколкото позволява паметта на GPU, като се натрупват градиенти върху няколко мини-партиди преди актуализиране на теглата.

Когато паметта е ограничена, не е възможно да се зареди цяла голяма партида. Вместо това моделът обработва няколко малки партиди последователно, натрупвайки градиентите (без да актуализира параметрите), а след определен брой стъпки извършва една стъпка на оптимизация.

Това позволява:

• емулатор на по-голям размер на партида, което може да подобри стабилността и качеството на обучението.
• преодоляване на ограниченията на паметта на GPU.

Примерен псевдокод в PyTorch:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Тук accumulation_steps е броят на мини-партидите, след които се актуализират теглата.