Apie laisvą darbo vietą
Ищут Middle AI QA Engineer для тестирования LLM и AI-агентных систем. Работа полностью удалённая, для кандидатов вне РФ и РБ, с графиком по тихоокеанскому времени.
Задачи
- Тестировать поведение AI-агентов: диалоги, логику, контекст и состояние.
- Выявлять и анализировать галлюцинации, отклонения от инструкций и логические ошибки.
- Разрабатывать и поддерживать тест-кейсы для LLM-агентов, включая ручные и автоматизированные тесты.
- Строить и поддерживать eval-наборы и Golden Datasets для регрессионного тестирования.
- Использовать eval-фреймворки для оценки качества ответов LLM.
- Тестировать интеграции агентов с внешними системами, API, CRM и инструментами.
- Анализировать качество ответов по метрикам accuracy, coherence и relevance.
- Участвовать в развитии тестовой архитектуры для AI-систем.
Условия
- Полностью удалённый формат работы.
- Кандидаты должны находиться вне РФ и РБ.
- Часовой пояс: PT, рабочее время 7:00–16:00 по времени Вашингтона.
- Оплата по квалификации — от 25 USD в час.
- Работа в команде разработчиков, ML-инженеров и AI-специалистов.
- Возможность профессионального роста в QA для LLM- и AI-агентных систем.
Будет плюсом
- Опыт работы с LangChain, vapi, Synthflow или аналогичными платформами.
- Понимание CI/CD и базовых инструментов мониторинга.
- Опыт участия в проектировании тестовой архитектуры для AI/ML-систем.
- Опыт оценки LLM через метрики и автоматические проверки.