Что такое MIG (Multi-Instance GPU) на A100/H100?

MIG (Multi-Instance GPU) — это технология, представленная в GPU NVIDIA A100 и H100, которая позволяет разделить один физический GPU на несколько изолированных логических GPU (инстансов). Каждый из этих инстансов имеет выделенные вычислительные ресурсы (ядра CUDA, память и т.д.) и работает как отдельный GPU.

Это полезно для:

• Параллельного запуска нескольких задач с гарантированным разделением ресурсов.
• Повышения эффективности использования GPU в средах с разными нагрузками.
• Улучшения изоляции и безопасности при совместном использовании GPU.

Например, на одном A100 можно создать несколько MIG-инстансов для одновременного запуска разных моделей машинного обучения, не мешая друг другу.

В CUDA-программировании это позволяет назначать задачи на конкретные MIG-инстансы, управляя ресурсами более гибко.