Дар бораи чои холй
2ГИС ищет Middle Data Engineer в команду Holocron на удалённую работу. Предстоит развивать дата-инфраструктуру, ETL/ELT-процессы и пайплайны для работы с большими объёмами данных.
Что предстоит делать
- Расширять существующие форматы данных
- Разрабатывать и поддерживать ETL/ELT-процессы
- Автоматизировать batch-расчёты
- Подключать новые источники данных
- Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру с использованием S3, Kafka, Spark и ClickHouse
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками
Компания
Компания: 2ГИС. Команда: Holocron.