Qual é a diferença entre pipeline parallelism e tensor parallelism?

O paralelismo de pipeline e o paralelismo tensorial são duas abordagens para o treino distribuído de grandes redes neurais em múltiplas GPUs.

Paralelismo de pipeline divide o modelo em etapas sequenciais (camadas ou grupos de camadas), cada uma executada num dispositivo separado. Os dados passam por estas etapas de forma sequencial, como numa linha de montagem. Isto permite processar vários lotes simultaneamente, mas em diferentes fases do modelo, reduzindo o tempo de inatividade da GPU.

Paralelismo tensorial divide os cálculos dentro de uma mesma camada entre vários dispositivos. Por exemplo, operações matriciais são divididas em partes, e cada parte é calculada numa GPU separada em paralelo. Isto é útil para camadas muito grandes que não cabem na memória de um único dispositivo.

Resumindo:

• Paralelismo de pipeline: paralelismo por camadas do modelo, processamento sequencial de dados com pipeline.
• Paralelismo tensorial: paralelismo dentro de uma camada, distribuição de cálculos por tensores.

Estes métodos são frequentemente combinados para uma escalabilidade eficiente do treino.