Čime se pipeline paralelizam razlikuje od tensor paralelizma?

Pipeline paralelizam i tensor paralelizam su dva pristupa za distribuirano treniranje velikih neuronskih mreža na više GPU-ova.

Pipeline paralelizam deli model na uzastopne faze (slojeve ili grupe slojeva), od kojih se svaka izvršava na posebnom uređaju. Podaci prolaze kroz ove faze sekvencijalno, slično na liniji za sklapanje. Ovo omogućava istovremenu obradu više partija, ali na različitim fazama modela, smanjujući vreme neaktivnosti GPU-a.

Tensor paralelizam deli računanja unutar jednog sloja između više uređaja. Na primer, matriks operacije se dele na delove, i svaki deo se računa na posebnom GPU-u paralelno. Ovo je korisno za veoma velike slojeve koji ne staju u memoriji jednog uređaja.

Ukratko:

• Pipeline paralelizam: paralelizam po slojevima modela, sekvencijalna obrada podataka sa pipeline-om.
• Tensor paralelizam: paralelizam unutar sloja, raspodela računanja po tenzorima.

Ove metode se često kombinuju za efikasno skaliranje obuke.