Quelle est la différence entre parallélisme de données et parallélisme de modèles?

Le parallélisme de données (parallélisme basé sur les données) et le parallélisme de modèle (parallélisme basé sur le modèle) sont deux approches pour les calculs distribués en apprentissage automatique.

• Parallélisme de données : le même modèle est copié sur plusieurs dispositifs (par exemple, GPU), et les données sont divisées en parties traitées en parallèle. Après les calculs, les résultats (gradients) sont agrégés pour mettre à jour le modèle. Cette approche est efficace lorsque le modèle tient dans la mémoire d’un seul dispositif.

• Parallélisme de modèle : le modèle est divisé en parties, chacune étant exécutée sur un dispositif séparé. Cela est utile lorsque le modèle est trop grand pour tenir dans la mémoire d’un seul dispositif. Ici, les données passent séquentiellement à travers les parties du modèle sur différents dispositifs.

Exemple :

# Parallélisme de données avec PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # distribution sur plusieurs GPU
output = model(input_batch)

Le parallélisme de modèle nécessite une division manuelle du modèle, par exemple :

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Le choix de l’approche dépend de la taille du modèle et des ressources disponibles.