Jaka jest różnica między paralelizmem danych a paralelizmem modelu?

Paralelizm danych (paralelizm po danych) i paralelizm modelu (paralelizm po modelu) to dwa podejścia do rozproszonych obliczeń w uczeniu maszynowym.

• Paralelizm danych: ta sama model jest kopiowana na kilka urządzeń (np. GPU), a dane są dzielone na części, które są przetwarzane równolegle. Po obliczeniach wyniki (gradienty) są agregowane w celu aktualizacji modelu. To podejście jest skuteczne, gdy model mieści się w pamięci jednego urządzenia.

• Paralelizm modelu: model jest dzielony na części, z których każda jest wykonywana na osobnym urządzeniu. Jest to przydatne, gdy model jest zbyt duży, aby zmieścić się w pamięci jednego urządzenia. Tutaj dane przechodzą kolejno przez części modelu na różnych urządzeniach.

Przykład:

# Paralelizm danych z PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # rozkład na kilka GPU
output = model(input_batch)

Paralelizm modelu wymaga ręcznego podziału modelu, na przykład:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Wybór podejścia zależy od rozmiaru modelu i dostępnych zasobów.