Mesélj a gradiens felhalmozásáról. Milyen esetekben alkalmazzák?

A gradiensgyűjtés egy olyan technika, amelyet a neurális hálózatok tanításakor használnak, amikor a gradiens értékeket több mini-batch során gyűjtik össze, mielőtt a modell súlyait frissítenék. Ez hatékonyan szimulál egy nagyobb batch méretet, mint ami fizikailag elférne a GPU memóriájában.

Olyan esetekben alkalmazzák, amikor memória korlátok miatt nem lehet nagy batch méretet használni, és a nagy batch méret stabilitás és tanulási minőség szempontjából fontos. Ahelyett, hogy minden kis batch után frissítenénk a súlyokat, a gradiens értékeket (gyűjtjük) több iteráció során, majd egy optimalizációs lépést hajtunk végre.

Példa pseudokód:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Így a modell ritkábban frissül, de egy nagyobb batch-nek megfelelő gradienssel.