Ի՞նչ է տվյալների և մոդելի պառլելիզմի տարբերությունը։

Տվյալների համաժամանակեցում (տվյալների վրա հիմնված համաժամանակեցում) և մոդելի համաժամանակեցում (մոդելի վրա հիմնված համաժամանակեցում) երկու մոտեցում են մեքենայական ուսուցման տարածված հաշվարկների համար:

• Տվյալների համաժամանակեցում՝ նույն մոդելը պատճենվում է մի քանի սարքերում (օրինակ՝ GPU), և տվյալները բաժանվում են մասերի, որոնք մշակվում են միաժամանակ։ Հետո հաշվարկների արդյունքները (գրադիենտները) հավաքագրվում են մոդելի թարմացման համար։ Այս մոտեցումը արդյունավետ է, երբ մոդելը տեղավորվում է մեկ սարքի հիշողության մեջ։

• Մոդելի համաժամանակեցում՝ մոդելը բաժանվում է մասերի, և յուրաքանչյուր մասը կատարվում է առանձին սարքում։ Սա օգտակար է, երբ մոդելը չափազանց մեծ է, որպեսզի տեղավորվի մեկ սարքի հիշողության մեջ։ Այստեղ տվյալները անցնում են հերթականությամբ մոդելի մասերի միջով տարբեր սարքերում։

Օրինակ՝

# Տվյալների համաժամանակեցում PyTorch-ով
import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

մոդել = MyModel()
մոդել = DataParallel(մոդել)  # բաժանում մի քանի GPU-ների վրա
արտադրանք = մոդել(input_batch)

Մոդելի համաժամանակեցումը պահանջում է մանուալ բաժանում մոդելին, օրինակ՝

class ModelParallel(nn.Module):
    def __init__(self):
        super().__init__()
        self.part1 = nn.Linear(1000, 1000).to('cuda:0')
        self.part2 = nn.Linear(1000, 1000).to('cuda:1')

    def forward(self, x):
        x = self.part1(x.to('cuda:0'))
        x = self.part2(x.to('cuda:1'))
        return x

Ընտրությունը կախված է մոդելի չափից և հասանելի ռեսուրսներից։