Was ist MPS (Multi-Process Service)?

MPS (Multi-Process Service) ist ein Mechanismus, der im Kontext von GPU und CUDA verwendet wird, um mehrere Prozesse zu verwalten, die gleichzeitig eine gleiche Grafikkarte nutzen.

Die Hauptidee von MPS ist es, die Effizienz der GPU-Nutzung zu erhöhen, indem mehreren Client-Prozessen ermöglicht wird, Ressourcen der GPU zu teilen, ohne zwischen den Prozessen den Kontext wechseln zu müssen, was die Overheads reduziert und die Durchsatzrate erhöht.

Im maschinellen Lernen und Hochleistungsrechnen hilft MPS, parallele Aufgaben auf einer einzelnen GPU effizienter auszuführen, die Auslastung zu verbessern und Latenzen zu verringern.