Mi a különbség a pipeline parallelism és a tensor parallelism között?

A pipeline párhuzamosság és a tensor párhuzamosság két megközelítés a nagy neurális hálók több GPU-s elosztott tanítására.

Pipeline párhuzamosság a modellt szekvenciális szakaszokra (rétegekre vagy rétegcsoportokra) bontja, amelyek mindegyike külön eszközön fut. Az adatok ezeken a szakaszokon keresztül haladnak egymás után, mint egy gyártósoron. Ez lehetővé teszi több tétel egyidejű feldolgozását, de a modell különböző szakaszaiban, csökkentve a GPU kihasználatlanságát.

Tensor párhuzamosság egy rétegen belüli számításokat oszt szét több eszköz között. Például a mátrixműveletek részekre vannak bontva, és minden részt külön GPU-n számítanak ki párhuzamosan. Ez hasznos nagyon nagy rétegeknél, amelyek nem férnek el egy eszköz memóriájában.

Összefoglalva:

• Pipeline párhuzamosság: réteg szerinti párhuzamosság, szekvenciális adatfeldolgozás pipeline-nal.
• Tensor párhuzamosság: belső párhuzamosság egy rétegen belül, számítások elosztása tensorokra.

Ezeket a módszereket gyakran kombinálják az hatékony tanulási skálázás érdekében.