Как был организован инференс LLM (DeepSeek R1 33B)? Сколько GPU, как параллелили?

Инференс больших языковых моделей (LLM) типа DeepSeek R1 33B обычно требует распределённой параллелизации из-за объёма параметров.

Для модели с 33 миллиардами параметров часто используют несколько GPU (например, 8 или 16), объединённых через технологии типа NVIDIA NCCL.

Основные методы параллелизации:

• Tensor Parallelism — разбивка отдельных слоёв модели по нескольким GPU.
• Pipeline Parallelism — разделение модели на последовательные части, каждая на отдельном GPU.
• Data Parallelism — параллельная обработка разных батчей данных.

В DeepSeek R1 33B, скорее всего, применяли комбинацию tensor и pipeline параллелизма для эффективного использования памяти и ускорения инференса.

Точное число GPU и детали зависят от инфраструктуры, но для таких моделей обычно требуется кластер из нескольких высокопроизводительных GPU с большой видеопамятью (например, A100 с 40-80GB VRAM).