Az állásról
Ищут Data Engineer для разработки и поддержки инфраструктуры данных большого проекта озера данных со сложными сценариями приёма и обработки информации из разных источников.
Что предстоит делать
- Разрабатывать и поддерживать парсеры
- Автоматизировать обработку и преобразование данных
- Отлаживать и мониторить конвейеры данных
Что ожидают от кандидата
- Знание основных библиотек Python для работы с данными
- Опыт обработки и скрейпинга или парсинга сложных и слабоструктурированных документов в форматах PDF, DOC, DOCX, XLS, XLSX
- Опыт автоматизации конвейеров данных и знание соответствующих программных инструментов
- Представление об управлении качеством данных
- Представление о возможностях отладки и мониторинга
- Понимание специфики форматов данных: JSON Lines, Parquet, XML, CSV и других
- Понимание методов получения и поставки данных, например S3, REST API, SOAP, RPC
- Знание английского языка на уровне, достаточном для чтения технической документации
- Знание Git
- Готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи
- Плюсом будет опыт работы с данными из открытых источников и понимание их специфики
- Плюсом будет опыт долгосрочного поддержания работы парсеров
- Плюсом будет опыт работы с библиотеками Python для computer vision
Условия
- Удалённый или гибридный формат работы
- Локация: Москва
- Заработная плата от 120 т.р.
- Оформление по ТК РФ
О компании и проекте
ООО «ОДСС» — аккредитованная IT-компания.
Проект только стартовал: мало легаси и много свободы для экспериментов.
Можно влиять на выбор технологий и архитектурных решений.
- Технологический стек: PostgreSQL, Python 3, Selenium
Как откликнуться
Для связи: @LvovaOV