¿En qué se diferencia el paralelismo de pipeline del paralelismo de tensor?

El paralelismo de tuberías y el paralelismo tensorial son dos enfoques para el entrenamiento distribuido de grandes redes neuronales en múltiples GPU.

Paralelismo de tuberías divide el modelo en etapas secuenciales (capas o grupos de capas), cada una ejecutada en un dispositivo separado. Los datos pasan por estas etapas de manera secuencial, como en una línea de ensamblaje. Esto permite procesar varios lotes simultáneamente, pero en diferentes etapas del modelo, reduciendo el tiempo de inactividad de la GPU.

Paralelismo tensorial divide los cálculos dentro de una misma capa entre varios dispositivos. Por ejemplo, las operaciones matriciales se dividen en partes, y cada parte se calcula en una GPU diferente en paralelo. Esto es útil para capas muy grandes que no caben en la memoria de un solo dispositivo.

En resumen:

• Paralelismo de tuberías: paralelismo por capas del modelo, procesamiento secuencial de datos con tuberías.
• Paralelismo tensorial: paralelismo dentro de una capa, distribución de cálculos en tensores.

A menudo, estos métodos se combinan para una escalabilidad eficiente del entrenamiento.