Comment l'inférence du LLM (DeepSeek R1 33B) a-t-elle été organisée ? Combien de GPU, comment ont-ils parallélisé ?

Инференс больших языковых моделей (LLM) типа DeepSeek R1 33B обычно требует распределённой параллелизации из-за объёма параметров.

Для модели с 33 миллиардами параметров часто используют несколько GPU (например, 8 или 16), объединённых через технологии типа NVIDIA NCCL.

Основные методы параллелизации:

• Tensor Parallelism — разбивка отдельных слоёв модели по нескольким GPU.
• Pipeline Parallelism — разделение модели на последовательные части, каждая на отдельном GPU.
• Data Parallelism — параллельная обработка разных батчей данных.

В DeepSeek R1 33B, скорее всего, применяли комбинацию tensor и pipeline параллелизма для эффективного использования памяти и ускорения инференса.

Точное число GPU и детали зависят от инфраструктуры, но для таких моделей обычно требуется кластер из нескольких высокопроизводительных GPU с большой видеопамятью (например, A100 с 40-80GB VRAM).