რა არის გრადიენტის დაგროვება და რატომ არის ეს საჭირო შეზღუდული მეხსიერების დროს?

გრადიენტის დაგროვება არის ტექნიკა, რომელიც საშუალებას აძლევს ეფექტურად სწავლობდეს მოდელებს უფრო დიდ ბატჩის ზომით, ვიდრე GPU-ის მეხსიერება იძლევა, გრადიენტების დაგროვებით რამდენიმე მინიბატჩზე წინათ და მხოლოდ ამის შემდეგ განახლებით წონებს.

როდესაც მეხსიერება შეზღუდულია, შეუძლებელია დიდი ბატჩის სრული დატვირთვა ერთდროულად. ამის ნაცვლად, მოდელი ეტაპობრივად processing რამდენიმე პატარა ბატჩს, გრადიენტების დაგროვებით (პარამეტრების განახლების გარეშე), და გარკვეული რაოდენობის ამ ნაბიჯების შემდეგ ახორციელებს ერთ ოპტიმიზაციის ნაბიჯს.

ეს საშუალებას აძლევს:

• იმიტაცია უფრო დიდი ბატჩის ზომის, რაც შეიძლება გააუმჯობესოს სწავლების სტაბილურობა და ხარისხი.
• გადალახოს GPU-ის მეხსიერების შეზღუდვები.

PyTorch-ის პსევდოკოდის მაგალითი:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

აქ, accumulation_steps არის მინიბატჩების რაოდენობა, რომლის შემდეგაც ხდება წონების განახლება.