O wakacie
Компания «Цифровые привычки» ищет QA для проекта Сбера по развитию и тестированию ML/LLM-систем. Нужно выстроить оценку качества LLM-агентов, автоматизировать тестирование и анализировать инциденты качества.
Обязанности
- Выстроить систему оценки качества ответов LLM-агентов, включая метрики, критерии и процесс.
- Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы.
- Автоматизировать прогон тестов и оценку по бинарным критериям, включая валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа и консистентность ответов.
- Проводить сравнительное тестирование моделей и версий промптов и готовить отчёты для принятия решений.
- Тестировать релизы перед выводом в промышленную эксплуатацию и выявлять расхождения между тестовым и промышленным контурами.
- Анализировать инциденты качества в промышленной среде и локализовывать причины, связанные с промптом, моделью, данными или кодом.
Условия
- Трудоустройство по договору с ИП или ГПХ.
- Зарплата от 200 000 до 250 000 ₽ в месяц.
- Первые 3 месяца работа в офисе, далее гибридный формат.
- Офис находится в Москве.
О проекте
Проект Сбера по развитию и тестированию ML/LLM-систем в компании «Цифровые привычки».