Jaký je rozdíl mezi datovým paralelismem a paralelismem modelu?

Data paralelismus (paralelismus podle dat) a model paralelismus (paralelismus podle modelu) jsou dva přístupy k distribuovaným výpočtům ve strojovém učení.

• Data paralelismus: stejný model je kopírován na několik zařízení (například GPU) a data jsou rozdělena na části, které jsou zpracovávány paralelně. Po výpočtech jsou výsledky (gradienty) sloučeny pro aktualizaci modelu. Tento přístup je efektivní, když se model vejde do paměti jednoho zařízení.

• Model paralelismus: model je rozdělen na části, z nichž každá je vykonávána na samostatném zařízení. To je užitečné, když je model příliš velký na to, aby se vešel do paměti jednoho zařízení. Zde data procházejí sekvenčně částmi modelu na různých zařízeních.

Příklad:

# Data paralelismus s PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # rozdělení na více GPU
output = model(input_batch)

Model paralelismus vyžaduje ruční rozdělení modelu, například:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Volba přístupu závisí na velikosti modelu a dostupných zdrojích.