About the vacancy
Команда ищет middle-разработчика для проектирования, развития и поддержки ETL-процессов и инфраструктуры потоковой и аналитической обработки данных.
Какие задачи необходимо решать
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL-процессы для загрузки данных из различных источников
- Управлять потоковой обработкой данных с использованием Apache Kafka
- Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач
- Строить, администрировать и настраивать кластеры ClickHouse для обеспечения высокой производительности аналитических запросов на больших объёмах данных
- Разрабатывать и поддерживать решения на базе ClickHouse или связки PostgreSQL и ClickHouse
- Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры, включая API, очереди и S3
- Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных
- Автоматизировать процессы обработки данных и развёртывания с использованием CI/CD
- Взаимодействовать с аналитиками, разработчиками и product owner’ами для понимания потребностей в данных и их реализации
- Устранять неисправности в pipeline данных и базах данных
Условия
Офисный формат работы в Екатеринбурге.
Компания
Мегафон