Vakansiya haqqında
Ищут QA Engineer для тестирования и оценки AI-агентов и LLM-систем. Специалист будет отвечать за качество, устойчивость и предсказуемость поведения агентов, а также развивать автоматизацию и QA-процессы AI-команды.
О компании
Aspirity Solution — студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.
Чем предстоит заниматься
- Тестировать и оценивать работу AI-агентов, включая диалоговые и когнитивные системы
- Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов
- Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования
- Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах
- Взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов
- Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды
- Вести техническую документацию и описывать best practices
Требования
- Опыт работы в QA, manual или automation, от 2 лет
- Практический опыт тестирования AI-агентов или чат-ботов
- Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии
- Опыт работы с eval-инструментами: OpenAI Evals, DeepEval, LangChain Evals или аналогами
- Опыт автоматизированного тестирования, желательно для AI-агентов
Будет плюсом
- Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов
- Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance
- Понимание CI/CD-процессов и базовых инструментов мониторинга
- Участие в построении тестовой архитектуры для AI-систем
Условия
- Полностью удалённый формат работы
- Работа в команде разработчиков, ML-инженеров и AI-специалистов
- Возможность профессионально расти в QA для LLM- и AI-агентных систем
- Оплата по квалификации — от 20 USD/час и выше