Kuo skiriasi duomenų paralelizmas ir modelio paralelizmas?

Duomenų paralelizmas (paralelizmas pagal duomenis) ir modelio paralelizmas (paralelizmas pagal modelį) yra du požiūriai į paskirstytus skaičiavimus mašininiame mokyme.

• Duomenų paralelizmas: tas pats modelis kopijuojamas į kelis įrenginius (pvz., GPU), o duomenys padalijami į dalis, kurios apdorojamos lygiagrečiai. Po skaičiavimų rezultatai (gradientai) sujungiami atnaujinti modelį. Šis požiūris yra efektyvus, kai modelis telpa į vieno įrenginio atmintį.

• Modelio paralelizmas: modelis padalijamas į dalis, iš kurių kiekviena vykdoma atskirame įrenginyje. Tai naudinga, kai modelis yra per didelis, kad tilptų į vieno įrenginio atmintį. Čia duomenys nuosekliai pereina per modelio dalis skirtinguose įrenginiuose.

Pavyzdys:

# Duomenų paralelizmas su PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # paskirstymas keliuose GPU
output = model(input_batch)

Modelio paralelizmas reikalauja rankinio modelio padalijimo, pavyzdžiui:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Pasirinkimas priklauso nuo modelio dydžio ir turimų išteklių.