Чем pipeline parallelism отличается от tensor parallelism?

Pipeline parallelism и tensor parallelism — это два подхода к распределённому обучению больших нейросетей на нескольких GPU.

Pipeline parallelism разбивает модель на последовательные этапы (слои или группы слоёв), каждый из которых выполняется на отдельном устройстве. Данные проходят через эти этапы последовательно, как на конвейере. Это позволяет обрабатывать несколько батчей одновременно, но на разных стадиях модели, снижая время простоя GPU.

Tensor parallelism делит вычисления внутри одного слоя между несколькими устройствами. Например, матричные операции разбиваются по частям, и каждая часть вычисляется на отдельном GPU параллельно. Это полезно для очень больших слоёв, которые не помещаются в память одного устройства.

В итоге:

• Pipeline parallelism — параллелизм по слоям модели, последовательная обработка данных с конвейеризацией.
• Tensor parallelism — параллелизм внутри слоя, распределение вычислений по тензорам.

Часто эти методы комбинируют для эффективного масштабирования обучения.