Kuidas õppida suure partii puhul piiratud mälu korral?

Mudelite suurte partiide treenimine piiratud mäluga võib kasutada järgmisi lähenemisviise:

• Gradiente kogumine: jagada suur partii mitmeks väiksemaks mini-partiiks, neid järjest läbi mudeli käivitada, koguda gradientid ja seejärel teha optimeerimis samm. See võimaldab simuleerida suurt partiid ilma, et oleks vaja kõiki andmeid korraga laadida.

• Generatorite või voogedastuse andmete laadimise kasutamine: laadida ja töödelda andmeid osade kaupa, et kogu partii ei jääks mällu.

• Mudel- ja andmete optimeerimine: vähendada mudeli suurust (näiteks kvantimisega), kasutada kompaktsemaid andmeformaate.

• Paralleelne töötlemine: kui võimalik, jaotada arvutused ja mälu mitme seadme vahel.

PyTorch näide gradientide kogumisest:

accumulation_steps = 4
optimizer.zero_grad()
for i, (inputs, labels) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, labels) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Siin jagame suure partii 4 ossa, kogume gradientid ja uuendame kaalud pärast kõigi osade töötlemist.