Ինչպես սովորել մեծ խմբաքանակով محدود հիշողությամբ?

Մոդելների մեծ խմբաքանակների ուսուցման ժամանակ սահմանափակ հիշողությամբ կարող եք օգտագործել հետևյալ մոտեցումները:

• Գրադիենտների կուտակում: մեծ խմբաքանակը բաժանել մի քանի փոքրիկ մինի-խմբաքանակների, դրանք հերթականորեն անցկացնել մոդելով, հավաքել գրադիենտները և հետո կատարել օպտիմիզացիայի քայլը: Սա թույլ է տալիս սիմուլացնել մեծ խմբաքանակը առանց անհրաժեշտության միանգամից բեռնել բոլոր տվյալները:

• Գեներատորների կամ հոսքային տվյալների բեռնում: տվյալները բեռնել և մշակել մաս մաս, որպեսզի ամբողջ խմբաքանակը չպահվի հիշողության մեջ:

• Մոդելի և տվյալների օպտիմալացում: մոդելի չափը նվազեցնել (օրինակ, քվանտավորմամբ), օգտագործել ավելի կոմպակտ տվյալների ձևաչափեր:

• Պարալել հաշվարկները: եթե հնարավոր է, տարածել հաշվարկներն ու հիշողությունը մի քանի սարքերի վրա:

PyTorch-ում գրադիենտների կուտակման օրինակ:

accumulation_steps = 4
optimizer.zero_grad()
for i, (inputs, labels) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, labels) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Այստեղ մեծ խմբաքանակը բաժանվում է 4 մասի, հավաքվում են գրադիենտները և թարմացվում են քաշերը բոլոր մասերը մշակելուց հետո։