Mi az a gradient összegzés, és miért szükséges korlátozott memóriában?

Gradiensgyűjtés egy olyan technika, amely lehetővé teszi, hogy hatékonyan tanítsunk modelleket olyan nagyobb batch mérettel, mint amit a GPU memória lehetővé tesz, azzal, hogy több mini-batchen keresztül gyűjtjük a gradiens értékeket a súlyok frissítése előtt.

Amikor a memória korlátozott, nem lehet egy nagy batch-t egyszerre betölteni. Ehelyett a modell több kis batch-et dolgoz fel egymás után, gyűjtve a gradiens értékeket (paraméterek frissítése nélkül), majd egy meghatározott lépésszám után végrehajt egy optimalizációs lépést.

Ez lehetővé teszi:

• nagyobb batch méret emulálását, ami javíthatja a tanulás stabilitását és minőségét.
• a GPU memória korlátainak kijátszását.

PyTorch példakód:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Itt az accumulation_steps a mini-batch-ek száma, amelyek után a súlyokat frissítjük.