Məlumat paralelliyi və model paralelliyi arasındakı fərq nədir?

Məlumat paralelliyi (məlumatlar üzrə paralellik) və model paralelliyi (model üzrə paralellik) maşın öyrənməsində paylanmış hesablamalar üçün iki yanaşmadır.

• Məlumat paralelliyi: eyni model bir neçə cihazda (məsələn, GPU) kopyalanır və məlumatlar hissələrə bölünür, bu hissələr paralel işlənir. Hesablama nəticələri (gradientlər) toplanır və model yenilənir. Bu yanaşma, modelin tək bir cihazın yaddaşına sığması halında effektivdir.

• Model paralelliyi: model hissələrə bölünür və hər hissə ayrı bir cihazda icra olunur. Bu, model çox böyük olduqda və tək bir cihazın yaddaşına sığmadıqda faydalıdır. Burada məlumatlar modelin müxtəlif hissələri arasında ardıcıl keçid edir.

Nümunə:

# PyTorch ilə məlumat paralelliyi
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # çox GPU üzərində paylanma
output = model(input_batch)

Model paralelliyi, modelin əl ilə bölünməsini tələb edir, məsələn:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Yanaşma seçimi modelin ölçüsünə və mövcud resurslara bağlıdır.