O volném místě
KODE ищет DevOps-инженера для эксплуатации и развития AI-платформы с LLM-инференсом, Kubernetes и GPU-ресурсами. Требуется от 4 лет опыта в DevOps; удалённая работа доступна только из городов РФ.
Чем предстоит заниматься
- Развертывать, сопровождать и обновлять LLM-инференс платформы на vLLM, SGLang и Ollama
- Эксплуатировать и развивать AI-платформу в Kubernetes, включая масштабирование и управление GPU-ресурсами
- Настраивать AI Gateway на LiteLLM, включая маршрутизацию запросов, API-ключи, квоты, лимиты и политики доступа
- Оптимизировать производительность inference с помощью batching, KV Cache и semantic cache
- Настраивать мониторинг, логирование и трассировку с использованием OpenTelemetry, Langfuse, SigNoz и Prometheus/Grafana
- Автоматизировать CI/CD для инфраструктуры и моделей и поддерживать GitOps-подход
- Интегрировать и сопровождать сервисы памяти, векторные хранилища и компоненты RAG и Agentic AI
- Диагностировать и устранять инциденты, обеспечивать стабильность и высокую доступность LLM-платформы
Условия
- Зарплата: от 170000 до 230000 рублей gross
- Формат работы: удалёнка, гибрид или офис
- Удалённая работа доступна только из городов РФ
- Занятость: полная
Процесс найма
- Два этапа интервью
Компания
Компания: KODE