Veri paralelliği ile model paralelliği arasındaki fark nedir?

Veri paralelliği (veri paralelliği) ve model paralelliği (model paralelliği) makine öğreniminde dağıtılmış hesaplamalara iki yaklaşımdır.

• Veri paralelliği: aynı model birkaç cihaza (örneğin, GPU) kopyalanır ve veriler parçalara bölünerek paralel işlenir. Hesaplamalardan sonra sonuçlar (gradyanlar) toplanır ve model güncellenir. Bu yaklaşım, modelin tek bir cihazın belleğine sığması durumunda etkilidir.

• Model paralelliği: model bölümlere ayrılır ve her bölüm ayrı bir cihazda çalıştırılır. Bu, modelin çok büyük olduğu ve tek bir cihazın belleğine sığmadığı durumlarda faydalıdır. Burada veriler, farklı cihazlardaki model bölümleri arasında sıralı olarak geçer.

Örnek:

# PyTorch ile veri paralelliği
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # birkaç GPU üzerinde dağıtım
output = model(input_batch)

Model paralelliği, modelin manuel bölünmesini gerektirir, örneğin:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Yaklaşım seçimi, modelin boyutuna ve mevcut kaynaklara bağlıdır.