Povedzte mi o akumulácii gradientov. V ktorých prípadoch sa používa?

Akumulácia gradientov je technika používaná pri tréningu neurónových sietí, pri ktorej sa gradienty zhromažďujú počas niekoľkých mini-batchov pred aktualizáciou váh modelu. To umožňuje efektívne simulovať väčšiu veľkosť batchu, než je fyzicky možné v pamäti GPU.

Používa sa v prípadoch, keď kvôli obmedzeniam pamäti nie je možné použiť veľkú veľkosť batchu, a veľká veľkosť batchu je dôležitá pre stabilitu a kvalitu tréningu. Namiesto aktualizácie váh po každom malom batchi sa gradienty (zhromažďujú) cez niekoľko iterácií, a potom sa vykoná krok optimalizácie.

Príklad pseudokódu:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Takto sa model aktualizuje menej často, ale s gradientom, ktorý je ekvivalentný väčšiemu batchu.