В чём разница между data parallelism и model parallelism?

Data parallelism (параллелизм по данным) и model parallelism (параллелизм по модели) — два подхода к распределённым вычислениям в машинном обучении.

• Data parallelism: одна и та же модель копируется на несколько устройств (например, GPU), а данные разбиваются на части, которые обрабатываются параллельно. После вычислений результаты (градиенты) агрегируются для обновления модели. Этот подход эффективен, когда модель помещается в память одного устройства.

• Model parallelism: модель разбивается на части, каждая из которых выполняется на отдельном устройстве. Это полезно, когда модель слишком большая, чтобы уместиться в память одного устройства. Здесь данные проходят последовательно через части модели на разных устройствах.

Пример:

# Data parallelism с PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # распределение по нескольким GPU
output = model(input_batch)

Model parallelism требует ручного разделения модели, например:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Выбор подхода зависит от размера модели и доступных ресурсов.