Qual è la differenza tra parallelismo a pipeline e parallelismo a tensore?

Il parallelismo a pipeline e il parallelismo tensoriale sono due approcci per l'addestramento distribuito di grandi reti neurali su più GPU.

Parallelismo a pipeline divide il modello in fasi sequenziali (strati o gruppi di strati), ognuna eseguita su un dispositivo separato. I dati passano attraverso queste fasi in modo sequenziale, come in una linea di produzione. Questo permette di elaborare più batch contemporaneamente, ma in diverse fasi del modello, riducendo il tempo di inattività della GPU.

Parallelismo tensoriale divide i calcoli all'interno di uno stesso strato tra più dispositivi. Ad esempio, le operazioni matriciali vengono suddivise in parti, e ogni parte viene calcolata su una GPU separata in parallelo. Questo è utile per strati molto grandi che non entrano nella memoria di un singolo dispositivo.

In breve:

• Parallelismo a pipeline: parallelismo a livello di strato, elaborazione sequenziale dei dati con pipeline.
• Parallelismo tensoriale: parallelismo all'interno di uno strato, distribuzione dei calcoli sui tensori.

Spesso questi metodi vengono combinati per scalare efficacemente l'addestramento.