Mi a különbség az adat párhuzamosság és a modell párhuzamosság között?

Az adatparalelizáció (adatok szerinti párhuzamosság) és a modellparalelizáció (modell szerinti párhuzamosság) két megközelítés a terjesztett számításokra a gépi tanulásban.

• Adatparalelizáció: ugyanaz a modell több eszközön (pl. GPU) másolódik, és az adatokat részekre osztják, amelyek párhuzamosan dolgoznak. A számítások után az eredményeket (gradiens) összegzik a modell frissítéséhez. Ez a megközelítés hatékony, ha a modell belefér egy eszköz memóriájába.

• Modellparalelizáció: a modellt részekre osztják, és minden részt külön eszközön futtatnak. Ez akkor hasznos, ha a modell túl nagy ahhoz, hogy egy eszköz memóriájába férjen. Itt az adatok szekvenciálisan haladnak át a modell részein külön eszközökön.

Példa:

# Adatparalelizáció PyTorch-szal
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # több GPU-ra osztás
output = model(input_batch)

A modellparalelizáció manuális modellfelosztást igényel, például:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

A megközelítés kiválasztása a modell méretétől és az elérhető erőforrásoktól függ.