Millega erineb pipeline-paralleelism tensor-paralleelismist?

Pipeline-paralleelne ja tensor-paralleelne on kaks lähenemisviisi suurte närvivõrkude hajutatud koolitamiseks mitme GPU peal.

Pipeline-paralleelne jagab mudeli järjestikusteks etappideks (kihid või kihirühmad), millest iga täidetakse eraldi seadmes. Andmed läbivad need etapid järjestikku, nagu tootmisliinil. See võimaldab samaaegselt töödelda mitut partiid, kuid erinevates mudeli etappides, vähendades GPU tühikäigu aega.

Tensor-paralleelne jagab arvutusi ühe kihi sees mitme seadme vahel. Näiteks matriisioperatsioonid jagatakse osadeks ning iga osa arvutatakse paralleelselt eraldi GPU-l. See on kasulik väga suurte kihtide jaoks, mis ei mahu ühe seadme mällu.

Kokkuvõte:

• Pipeline-paralleelne: paralleelne kihiti, järjestikune andmetöötlus pipeline’iga.
• Tensor-paralleelne: paralleelne ühe kihi sees, arvutuste jaotamine tensöridele.

Need meetodid kombineeritakse sageli, et tõhusalt koolitust skaleerida.