O que é paralelismo de sequência?

O paralelismo de sequência é um método de processamento paralelo de dados sequenciais, frequentemente utilizado no treino de modelos com natureza sequencial, por exemplo, em PLN ou séries temporais. Ao contrário do paralelismo de dados clássico, onde diferentes lotes são processados em dispositivos diferentes, o paralelismo de sequência divide uma sequência longa em partes e as distribui por várias GPU ou nós.

Isto permite usar eficientemente os recursos ao treinar sequências muito longas, reduzindo os requisitos de memória em cada dispositivo e acelerando os cálculos. É importante sincronizar corretamente os limites das sequências para manter a integridade dos dados e a correção dos gradientes.

Exemplo: se tiver um texto longo de 10.000 tokens, pode dividi-lo em 4 partes de 2500 tokens e processá-las em paralelo em 4 GPU, e depois combinar os resultados para atualizar o modelo.