Boş pozisyon hakkında
Яндекс ищет Backend/Platform Developer в команду LLM Platform. Предстоит развивать внутреннюю платформу для работы с большими языковыми моделями, включая управление квотами, интеграции с провайдерами и безопасную обработку данных.
Задачи
- Разрабатывать систему управления квотами, лимитами, аналитикой, биллингом и распределением затрат.
- Развивать единый API для работы с LLM-провайдерами и внутренними моделями.
- Подключать LLM-провайдеров и собственные инференсы.
- Унифицировать форматы запросов и ответов и разрабатывать механизмы маршрутизации запросов.
- Проектировать механизмы безопасной передачи данных в публичные модели.
- Разрабатывать фильтры и политики обработки запросов и интегрироваться с системами контроля.
Условия
Компания компенсирует обеды. На кофепойнтах доступны свежие фрукты.