Middle Data Engineer

Обязанности

Расширять существующие форматы данных.

Разрабатывать и поддерживать ETL/ELT-процессы.

Автоматизировать batch-расчёты.

Подключать новые источники данных.

Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру с использованием S3, Kafka, Spark и ClickHouse.

Работать с большими объёмами данных и высоконагруженными Kafka-топиками.

Условия

Удалённая работа.