Kas ir gradientu uzkrāšana un kāpēc tā ir nepieciešama ierobežotas atmiņas gadījumā?

Gradienta uzkrāšana ir tehnika, kas ļauj efektīvi apmācīt modeļus ar lielāku partijas izmēru nekā atļauj GPU atmiņa, uzkrājot gradientus vairākās mini-partijās pirms svaru atjaunināšanas.

Kad atmiņa ir ierobežota, nav iespējams ielādēt lielu partiju pilnībā. Tā vietā modelis secīgi apstrādā vairākas mazākas partijas, uzkrājot gradientus (bez parametru atjaunināšanas), un pēc noteikta soļu skaita veic vienu optimizācijas soli.

Tas ļauj:

• emulēt lielāku partijas izmēru, kas var uzlabot apmācības stabilitāti un kvalitāti.
• pārvarēt GPU atmiņas ierobežojumus.

PyTorch piemērs pseudokodā:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Šeit, accumulation_steps ir mini-partiju skaits, pēc kura notiek svaru atjaunināšana.