Mis vahe on andmeparalelil ja mudeliparalelil?

Andmete paralleelne (andmete põhine) ja mudeli paralleelne (mudeli põhine) on kaks lähenemisviisi jaotatud arvutusteks masinõppes.

• Andmete paralleelne: sama mudel kopeeritakse mitmele seadmele (näiteks GPU), andmed jagatakse osadeks, mida töödeldakse paralleelselt. Pärast arvutusi koondatakse tulemused (gradientid), et uuendada mudelit. See lähenemisviis on tõhus, kui mudel mahub ühe seadme mällu.

• Mudeli paralleelne: mudel jagatakse osadeks, millest igaüks töötab eraldi seadmel. See on kasulik, kui mudel on liiga suur, et mahutada ühe seadme mällu. Siin läbib andmeid järjestikult mudeli osade kaudu erinevatel seadmetel.

Näide:

# Andmete paralleelne PyTorchis
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

model = MyModel()
model = DataParallel(model)  # jaotamine mitmele GPU-le
output = model(input_batch)

Mudeli paralleel nõuab mudeli käsitsi jagamist, näiteks:

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Valik sõltub mudeli suurusest ja saadaval olevatest ressurssidest.