Wat is het verschil tussen data parallelisme en model parallelisme?

Datan parallelisme (parallelisme op basis van gegevens) en modelparallelisme (parallelisme op basis van model) zijn twee benaderingen voor gedistribueerde berekeningen in machine learning.

• Datan parallelisme: hetzelfde model wordt gekopieerd naar meerdere apparaten (bijvoorbeeld GPU's), en gegevens worden opgedeeld in delen die parallel worden verwerkt. Na de berekeningen worden de resultaten (gradiënten) samengevoegd om het model bij te werken. Deze aanpak is efficiënt wanneer het model in het geheugen van één apparaat past.

• Modelparallelisme: het model wordt opgedeeld in delen, elk uitgevoerd op een apart apparaat. Dit is handig wanneer het model te groot is om in het geheugen van één apparaat te passen. Hier gaan de gegevens sequentieel door de delen van het model op verschillende apparaten.

Voorbeeld:

# Datan parallelisme met PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # verdeling over meerdere GPU's
output = model(input_batch)

Modelparallelisme vereist handmatige splitsing van het model, bijvoorbeeld:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

De keuze van aanpak hangt af van de grootte van het model en de beschikbare middelen.