Wat is sequentieparallelisme?

Sequentieel parallelisme is een methode voor parallelle verwerking van sequentiële gegevens, vaak toegepast bij het trainen van modellen met een sequentiële aard, bijvoorbeeld in NLP of tijdreeksen. In tegenstelling tot klassiek data parallelisme, waarbij verschillende batches op verschillende apparaten worden verwerkt, splitst sequentieel parallelisme een lange sequentie in delen en verdeelt deze over meerdere GPU's of knooppunten.

Dit maakt het mogelijk om de bronnen efficiënt te gebruiken bij het trainen van zeer lange sequenties, waardoor de geheugenvereisten per apparaat worden verminderd en de berekeningen worden versneld. Het is belangrijk om de grenzen van de sequenties correct te synchroniseren om de integriteit van de gegevens en de correctheid van de gradiënten te behouden.

Voorbeeld: als je een lange tekst hebt van 10.000 tokens, kun je deze opsplitsen in 4 delen van 2500 tokens en deze parallel verwerken op 4 GPU's, en vervolgens de resultaten samenvoegen om het model bij te werken.