Čo je DDP (Distributed Data Parallel) a ako funguje?

DDP (Distributed Data Parallel) je metóda paralelného tréningu neurónových sietí, pri ktorej sa model kopíruje na viacero zariadení (zvyčajne GPU), a každá kópia sa trénuje na svojej časti dát.

Ako DDP funguje:

1. Replikácia modelu: Kompletná kópia modelu sa vytvorí na každom GPU.
2. Rozdelenie dát: Dáta sa rozdelia na dávky, ktoré sa rozdelia medzi GPU.
3. Lokálny priame a spätné prechody: Každá kópia modelu vykoná priame a spätné prechody na svojej dávke.
4. Synchronizácia gradientov: Po spätnom prechode sa gradienty všetkých modelov synchronizujú (zvyčajne cez All-Reduce), aby boli aktualizácie konzistentné.
5. Aktualizácia parametrov: Parametre modelu sa aktualizujú rovnako na všetkých zariadeniach.

Toto umožňuje efektívne využívanie viacerých GPU na zrýchlenie tréningu, pričom sa zachováva konzistencia modelu.

Príklad v PyTorch:

import torch
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP

def setup():
    dist.init_process_group("nccl")

model = MyModel().to(device)
model = DDP(model, device_ids=[device])

# V tréningovom cykle
for data, target in dataloader:
    output = model(data)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

Týmto spôsobom DDP zabezpečuje škálovateľné a efektívne distribuované učenie.