Ի՞նչ է գրադիենտների կուտակումը և ինչու է դա անհրաժեշտ սահմանափակ հիշողության դեպքում։

Գրադիենտների կուտակումն այն տեխնիկան է, որը թույլ է տալիս արդյունավետորեն ուսանել մոդելներ՝ ավելի մեծ բեռնաթափման չափով, քան թույլ է տալիս GPU հիշողությունը, կուտակելով գրադիենտները մի քանի մինի-բեռնաթափումներում՝ նախքան քաշերի թարմացումը:

Երբ հիշողությունը սահմանափակ է, հնարավոր չէ ամբողջությամբ բեռնել մեծ բեռնաթափումը: Փոխարենը, մոդելը հերթով մշակում է մի քանի փոքր բեռնաթափում, կուտակելով գրադիենտները (առանց պարամետրերի թարմացման), և որոշակի քանակությամբ այդ քայլերից հետո կատարում է օպտիմիզացիայի մեկ քայլ:

Սա թույլ է տալիս՝

• իմիտացնել ավելի մեծ բեռնաթափման չափը, ինչը կարող է բարելավել ուսուցման կայունությունը և որակը:
• հաղթահարել GPU հիշողության սահմանափակումները:

PyTorch-ի псեվոդկոդի օրինակ՝

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Այստեղ, accumulation_steps է մինի-բեռնաթափումների քանակը, որոնց հետո տեղի է ունենում քաշերի թարմացում։