V čem se liší pipeline paralelismus od tensor paralelismu?

Pipeline paralelismus a tensor paralelismus jsou dva přístupy k distribuovanému tréninku velkých neuronových sítí na více GPU.

Pipeline paralelismus rozděluje model na sekvenční fáze (vrstvy nebo skupiny vrstev), z nichž každá je vykonávána na samostatném zařízení. Data procházejí tyto fáze sekvenčně, podobně jako na výrobní lince. To umožňuje současné zpracování několika dávok, ale v různých fázích modelu, čímž se snižuje nečinnost GPU.

Tensor paralelismus dělí výpočty uvnitř jedné vrstvy mezi více zařízení. Například maticové operace jsou rozděleny na části, a každá část je vypočtena na samostatném GPU paralelně. To je užitečné pro velmi velké vrstvy, které se nevejdou do paměti jednoho zařízení.

Stručně řečeno:

• Pipeline paralelismus: paralelismus na úrovni vrstev, sekvenční zpracování dat s pipeline.
• Tensor paralelismus: paralelismus uvnitř vrstvy, rozdělení výpočtů na tensory.

Tyto metody se často kombinují pro efektivní škálování tréninku.