¿Cuál es la diferencia entre paralelismo de datos y paralelismo de modelos?

El paralelismo de datos (paralelismo por datos) y el paralelismo de modelos (paralelismo por modelos) son dos enfoques para los cálculos distribuidos en el aprendizaje automático.

• Paralelismo de datos: la misma modelo se copia en varios dispositivos (por ejemplo, GPU), y los datos se dividen en partes que se procesan en paralelo. Después de los cálculos, los resultados (gradientes) se agregan para actualizar el modelo. Este enfoque es eficiente cuando el modelo cabe en la memoria de un solo dispositivo.

• Paralelismo de modelos: el modelo se divide en partes, cada una de las cuales se ejecuta en un dispositivo separado. Esto es útil cuando el modelo es demasiado grande para caber en la memoria de un solo dispositivo. Aquí, los datos pasan secuencialmente a través de las partes del modelo en diferentes dispositivos.

Ejemplo:

# Paralelismo de datos con PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # distribución en varias GPU
output = model(input_batch)

El paralelismo de modelos requiere dividir manualmente el modelo, por ejemplo:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

La elección del enfoque depende del tamaño del modelo y de los recursos disponibles.