Par vakanci
Ищут Data Engineer для разработки новой дата-платформы и инфраструктуры, миграции существующих пайплайнов и работы с большими объёмами данных.
Чем предстоит заниматься
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру на базе S3, Kafka, Spark и ClickHouse
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками
Стек
- Python или Scala