Эффективное управление нагрузкой сервиса с машинным обучением

Создать сервис на Python, который внутри вызывает ML‑модель. В рабочей среде сервис развёрнут на сервере с ограниченными вычислительными ресурсами, поэтому необходимо учитывать, что:

• более мощное оборудование ускоряет работу модели;
• на том же сервере работают другие сервисы, поэтому нельзя полностью захватывать ресурсы. Требуется спроектировать механизм запуска вычислений модели так, чтобы:
• модель использовала доступные ресурсы с максимальной эффективностью;
• её работа не ухудшала производительность остальных процессов;
• система автоматически подстраивалась под текущую нагрузку (например, через приоритеты, очереди, ограничение количества потоков, мониторинг загрузки CPU/GPU и т.п.).