Խոսեք գրադիենտների կուտակման մասին: Որ դեպքերում է կիրառվում:

Գրադիենտների կուտակումն այն տեխնիկան է, որը օգտագործվում է նեյրոնային ցանցերի ուսուցման ժամանակ, երբ գրադիենտները կուտակվում են մի քանի մինի-բատչերի ընթացքում նախքան մոդելի քաշերը թարմացնելը: Սա թույլ է տալիս արդյունավետորեն սիմուլյատորացնել ավելի մեծ բատչի չափը, քան այն ֆիզիկապես կարող է տեղավորվել GPU հիշողության մեջ:

Դա կիրառվում է այն դեպքերում, երբ հիշողության սահմանափակումների պատճառով հնարավոր չէ օգտագործել մեծ բատչի չափը, և մեծ բատչի չափը կարևոր է ուսուցման կայունության և որակի համար: Փոխարենը, փոքր բատչի յուրաքանչյուր թարմացման ժամանակ, գրադիենտները (սմիթում են) հավաքվում են մի քանի կրկնությունների ընթացքում, և ապա կատարվում է օպտիմիզացման մի քայլ:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Այսպիսով, մոդելը թարմացվում է ավելի հազվադեպ, բայց մեծ բատչի հավասար գրադիենտով։