Gradientlarni yig'ish nima va cheklangan xotira sharoitida nima uchun kerak?

Gradientsizlik yigʻish — bu GPU xotirasi imkon beradiganidan koʻproq partiya hajmida modellarning samarali oʻqitilishini taʼminlaydigan texnika boʻlib, bir nechta mini-partiyalar boʻyicha gradientlarni toʻplab, vaznlarni yangilashdan oldin saqlash imkonini beradi.

Xotira cheklangan hollarda, katta partiyani toʻliq yuklash mumkin emas. Buning oʻrniga, model ketma-ket bir nechta kichik partiyalarni ishlov berib, gradientlarni (parametrlarni yangilamasdan) toʻplab, belgilangan qadamlar sonidan soʻng optimallashtirish qadamini bajaradi.

Bu quyidagilarni imkonini beradi:

• Katta hajmdagi partiyani emulyatsiya qilish, bu esa oʻqitishning barqarorligi va sifatini yaxshilashi mumkin.
• GPU xotira cheklovlarini yengish.

PyTorchda pseudokod misoli:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Bu yerda, accumulation_steps — vaznlarni yangilashdan oldin qilingan mini-partiyalar soni.