¿Qué es el paralelismo de secuencias?

El paralelismo de secuencias es un método de procesamiento paralelo de datos secuenciales, a menudo utilizado en el entrenamiento de modelos con naturaleza secuencial, por ejemplo, en PLN o series temporales. A diferencia del paralelismo de datos clásico, donde diferentes lotes se procesan en diferentes dispositivos, el paralelismo de secuencias divide una secuencia larga en partes y las distribuye en varias GPU o nodos.

Esto permite utilizar eficientemente los recursos al entrenar secuencias muy largas, reduciendo los requisitos de memoria en cada dispositivo y acelerando los cálculos. Es importante sincronizar correctamente los límites de las secuencias para mantener la integridad de los datos y la corrección de los gradientes.

Ejemplo: si tienes un texto largo de 10,000 tokens, puedes dividirlo en 4 partes de 2500 tokens y procesarlas en paralelo en 4 GPU, y luego combinar los resultados para actualizar el modelo.