AI Test Automation Engineer

О компании

Новео — международная IT-компания, с 2002 года занимающаяся заказной разработкой программного обеспечения для западноевропейского рынка.

Компания использует продуктовый подход к разработке и работает в распределенных командах.

Задачи

• Разрабатывать и развивать фреймворки автоматизированного тестирования на PyTest, Playwright и k6 для четырех AI-продуктов.
• Обеспечивать прохождение автоматических проверок качества для каждого Pull Request и canary-развертывания в Kubernetes-кластере Nebius.
• Определять критерии автоматического отката AI-моделей и отвечать за качество canary- и A/B-развертываний.
• Анализировать и устранять проблемы в Kubernetes-кластере с использованием kubectl.
• Разрабатывать end-to-end стратегии тестирования API-контрактов, потоковых событий и пользовательских сценариев через LiveKit, PSTN и WebRTC.
• Создавать инструменты оценки качества LLM-моделей, включая LLM-as-a-Judge, rubric-based scoring и anomaly detection.
• Тестировать guardrails для выявления предвзятости, галлюцинаций, токсичного контента и утечек персональных данных на поддерживаемых языках.
• Совместно с командами R&D и ML Engineering разрабатывать датасеты для оценки качества моделей и готовить структурированные результаты тестирования.
• Развивать систему SLO для Voice AI-платформы и организовывать мониторинг качества в production с использованием Azure Application Insights.
• Готовить регулярные отчеты по качеству продукта для руководства компании.

Условия

• Трудоустройство через договор с ИП или самозанятым без привязки к определенному местонахождению.
• Оплачиваемые отпуск и больничные.
• Стабильная долгосрочная загрузка: 8 часов в день и 40 часов в неделю.
• Гибкий график и гибридный формат работы.
• Работа в распределенной команде над проектами.
• Онбординг с наставником, внутреннее обучение, митапы и tech talks.
• Бесплатное изучение английского и французского языков в рабочее время.
• Компенсация медицинских услуг, массажа или спорта.