Rääkige gradientide kogumisest. Millal seda kasutatakse?

Gradientside kogumine on tehnika, mida kasutatakse närvivõrkude koolitamisel, kus gradientid kogunevad mitme mini-partii jooksul enne mudeli kaalude uuendamist. See võimaldab tõhusalt simuleerida suuremat partii suurust, kui see füüsiliselt mahub GPU mälu.

Seda kasutatakse olukordades, kus mäe piirangute tõttu ei ole võimalik kasutada suuremat partii suurust, ning suurem partii suurus on oluline koolituse stabiilsuse ja kvaliteedi jaoks. Selle asemel, et iga väikese partii järel kaalu uuendada, kogunevad gradientid (kogutakse) mitme iteratsiooni jooksul, ning seejärel tehakse optimeerimisvõte.

Pseudokoodi näide:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Sel viisil uuendatakse mudelit harvemini, kuid suurema partii võrdse gradientiga.