Une intégration de la mise à l'échelle automatique dans Celery est-elle possible?

Celery сам по себе не предоставляет встроенного механизма автоматического масштабирования воркеров, но интеграция с системами оркестрации и мониторинга позволяет реализовать такую функциональность.

Например, можно использовать:

• Kubernetes: запускать Celery воркеры как поды, а затем настраивать Horizontal Pod Autoscaler (HPA) для масштабирования на основе метрик (CPU, очередь задач и т.д.).
• Supervisor или systemd: с внешними скриптами, которые мониторят нагрузку и запускают/останавливают воркеры.
• Flower — мониторинг Celery, который можно использовать для сбора статистики и на её основе запускать кастомные скрипты масштабирования.

Таким образом, автоматическое масштабирование достигается за счёт внешних инструментов, которые управляют количеством запущенных воркеров в зависимости от нагрузки, а не средствами самого Celery.