Kā atšķiras pipeline paralēlisms no tensor paralēlismu?

Pipeline paralēlisms un tensor paralēlisms ir divi pieejas lielu neironu tīklu izplatītai apmācībai vairākās GPU.

Pipeline paralēlisms sadala modeli secīgos posmos (slāņos vai slāņu grupās), katru no kuriem izpilda atsevišķa ierīce. Dati caur šiem posmiem plūst secīgi, līdzīgi ražošanas līnijai. Tas ļauj vienlaikus apstrādāt vairākas partijas, bet dažādos modeļa posmos, samazinot GPU neaktīvo laiku.

Tensor paralēlisms sadala aprēķinus vienā slānī starp vairākām ierīcēm. Piemēram, matricas operācijas tiek sadalītas daļās, un katra daļa tiek aprēķināta paralēli uz atsevišķa GPU. Tas ir noderīgi ļoti lieliem slāņiem, kas neiederas vienas ierīces atmiņā.

Kopsavilkums:

• Pipeline paralēlisms: paralēlisms pēc slāņiem, secīga datu apstrāde ar pipeline.
• Tensor paralēlisms: paralēlisms iekš slāņa, aprēķinu sadalīšana pa tensoru.

Šīs metodes bieži tiek kombinētas, lai efektīvi mērogotu apmācību.