Aký je rozdiel medzi paralelizmom dát a paralelizmom modelu?

Dátový paralelizmus (paralelizmus podľa dát) a modelový paralelizmus (paralelizmus podľa modelu) sú dva prístupy k distribuovaným výpočtom v strojovom učení.

• Dátový paralelizmus: rovnaký model sa kopíruje na niekoľko zariadení (napríklad GPU), a dáta sa rozdeľujú na časti, ktoré sa spracúvajú paralelne. Po výpočtoch sa výsledky (gradienty) zhrnú na aktualizáciu modelu. Tento prístup je efektívny, keď sa model zmestí do pamäte jedného zariadenia.

• Modelový paralelizmus: model sa rozdelí na časti, z ktorých každá sa vykonáva na samostatnom zariadení. To je užitočné, keď je model príliš veľký na to, aby sa zmestil do pamäte jedného zariadenia. Tu dáta prechádzajú sekvenčne cez časti modelu na rôznych zariadeniach.

Príklad:

# Dátový paralelizmus s PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # rozdelenie na viac GPU
output = model(input_batch)

Modelový paralelizmus vyžaduje manuálne rozdelenie modelu, napríklad:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Voľba prístupu závisí od veľkosti modelu a dostupných zdrojov.