Despre post
Нужно разработать screen-based RPA-бота, который работает с веб-сервисом через изображение экрана и имитирует действия пользователя. Бот должен распознавать состояние интерфейса, выполнять сценарии и обучаться на результатах предыдущих шагов.
О компании и проекте
Компания Omega Solution разрабатывает бота для работы с веб-сервисом через браузер или удалённый сервер RDP VMware Horizon. Доступа к коду страницы, DOM и API нет; текст и изображения в интерфейсе можно выделять и копировать.
Удалённый сервер предоставляет доступ к каталогам.
Чем предстоит заниматься
- Разрабатывать бота, который проходит заранее заданные последовательности экранов и выполняет заданные действия
- Захватывать экран или окно
- Управлять мышью и клавиатурой: выполнять клики, скролл, ввод и сочетания клавиш
- Работать с буфером обмена и читать скопированный текст
- Распознавать экран и состояние интерфейса
- Находить элементы по изображению и тексту, при необходимости использовать OCR
- Хранить сценарии в YAML или JSON и разрабатывать движок для их исполнения
- Описывать ожидаемый тип экрана, искомые тексты, номера схем и синонимы, а также выполняемые действия
- Проверять, что бот находится на правильном экране
- Обрабатывать таймауты, ошибки и всплывающие окна
- Логировать успешные и неуспешные шаги, расширять списки допустимых вариантов и оптимизировать маршрут за счёт кэширования удачных действий и сокращения числа поисков
Что ожидается от кандидата
- Уровень Middle+ или Senior
- Практический опыт автоматизации UI по изображению, а не по DOM
- Опыт работы через RDP или удалённый рабочий стол
- Опыт работы с OpenCV и template matching, поиска элементов по шаблону
- Опыт работы с OCR, включая Tesseract или аналогичные инструменты, и обработки текстов
- Умение строить конфигурируемые сценарии
Будет плюсом
- Опыт разработки RPA-решений с использованием кастомного кода, а не только drag-and-drop
- Опыт в computer vision и текстовых эмбеддингах, включая fuzzy search по названиям
- Проекты типа бота, который играет или работает по скриншоту
- Опыт с ML, эмбеддингами или fuzzy matching
Условия
- Удалённая работа из любой точки мира
- Полная занятость
- Заработная плата 280–330 тысяч рублей
- Оформление по ИП или ТК
- Официальное оформление
Как откликнуться
Для отклика необходимо связаться с @ushappy.