Qual é a diferença entre paralelismo de dados e paralelismo de modelos?

O paralelismo de dados (paralelismo por dados) e o paralelismo de modelos (paralelismo por modelo) são duas abordagens para cálculos distribuídos em aprendizagem de máquina.

• Paralelismo de dados: o mesmo modelo é copiado em vários dispositivos (por exemplo, GPU), e os dados são divididos em partes que são processadas em paralelo. Após os cálculos, os resultados (gradientes) são agregados para atualizar o modelo. Essa abordagem é eficiente quando o modelo cabe na memória de um único dispositivo.

• Paralelismo de modelos: o modelo é dividido em partes, cada uma executada em um dispositivo separado. Isso é útil quando o modelo é grande demais para caber na memória de um único dispositivo. Aqui, os dados passam sequencialmente pelas partes do modelo em diferentes dispositivos.

Exemplo:

# Paralelismo de dados com PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # distribuição em várias GPU
output = model(input_batch)

O paralelismo de modelos requer divisão manual do modelo, por exemplo:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

A escolha da abordagem depende do tamanho do modelo e dos recursos disponíveis.