Чем отличаются Tensor Parallel Size и Data Parallel Size в vLLM?

В контексте vLLM (виртуальный Large Language Model) и распределенного обучения:

• Tensor Parallel Size — количество устройств (например, GPU), на которые разбивается один и тот же тензор модели. Это позволяет распараллелить вычисления внутри одной модели, разделяя слои или операции между устройствами. Такой подход уменьшает требования к памяти на каждом устройстве, но требует синхронизации между ними.

• Data Parallel Size — количество копий модели, обучаемых на разных частях данных. Каждая копия модели получает свой батч данных, вычисляет градиенты, после чего происходит синхронизация и усреднение градиентов между копиями. Это ускоряет обучение за счет параллельной обработки данных.

Итого:

• Tensor Parallelism — параллелизм по модели (разбиение модели).
• Data Parallelism — параллелизм по данным (разбиение данных).

Обычно эти два подхода комбинируются для эффективного масштабирования больших моделей.