Kāda ir atšķirība starp datu paralēlismu un modeļa paralēlismu?

Datu paralēlisms (paralēlisms pēc datiem) un modeļa paralēlisms (paralēlisms pēc modeļa) ir divi pieejas veidi izplatītajiem aprēķiniem mašīnmācībā.

• Datu paralēlisms: tas pats modelis tiek kopēts uz vairākiem ierīcēm (piemēram, GPU), un dati tiek sadalīti pa daļām, kas tiek apstrādātas paralēli. Pēc aprēķiniem rezultāti (gradienti) tiek apkopoti, lai atjauninātu modeli. Šī pieeja ir efektīva, kad modelis ietilpst vienas ierīces atmiņā.

• Modeļa paralēlisms: modelis tiek sadalīts daļās, katra no tām tiek izpildīta atsevišķā ierīcē. Tas ir noderīgi, ja modelis ir pārāk liels, lai ietilptu vienas ierīces atmiņā. Šeit dati secīgi pārvietojas caur modeļa daļām dažādās ierīcēs.

Piemērs:

# Datu paralēlisms ar PyTorch
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # sadalījums vairākās GPU
output = model(input_batch)

Modeļa paralēlismam ir nepieciešama modeļa manuāla sadalīšana, piemēram:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Izvēle ir atkarīga no modeļa lieluma un pieejamiem resursiem.