Kas yra gradientų kaupimas ir kodėl jis reikalingas riboto atminties sąlygomis?

Gradiento kaupimas yra technika, leidžianti efektyviai mokyti modelius su didesniu partijos dydžiu nei leidžia GPU atmintis, kaupian gradiantus keliose mini-partijose prieš atnaujinant svorius.

Kai atmintis yra ribota, nėra galimybės įkelti didelės partijos iš karto. Vietoj to, modelis nuosekliai apdoroja kelias mažas partijas, kaupdamas gradiantus (be parametrų atnaujinimo), o po nustatyto žingsnių skaičiaus atlieka vieną optimizacijos žingsnį.

Tai leidžia:

• emuliuoti didesnį partijos dydį, kas gali pagerinti mokymosi stabilumą ir kokybę.
• apeiti GPU atminties ribojimus.

PyTorch pavyzdinis pseudokodas:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Мұнда, accumulation_steps — миним-батчтардың саны, олардың соңында салмақтар жаңартылады.