Каква е разликата между pipeline parallelism и tensor parallelism?

Пайплайн паралелизмът и тензорният паралелизъм са два подхода към разпределеното обучение на големи невронни мрежи на няколко GPU.

Пайплайн паралелизмът разделя модела на последователни етапи (слоеве или групи слоеве), всеки от които се изпълнява на отделно устройство. Данните преминават през тези етапи последователно, подобно на конвейер. Това позволява обработката на няколко партиди едновременно, но на различни етапи от модела, намалявайки времето на неактивност на GPU.

Тензорният паралелизъм разделя изчисленията вътре в един слой между няколко устройства. Например, матричните операции се разделят на части, и всяка част се изчислява на отделен GPU паралелно. Това е полезно за много големи слоеве, които не се побират в паметта на едно устройство.

Обобщено:

• Пайплайн паралелизмът — паралелизъм по слоеве на модела, последователна обработка на данни с конвейер.
• Тензорният паралелизъм — паралелизъм вътре в слой, разпределение на изчисленията по тензори.

Често тези методи се комбинират за ефективно мащабиране на обучението.