Σχετικά με την κενή θέση
Мегафон ищет Python-разработчика в офис в Москве. Предстоит разрабатывать и поддерживать ETL и data pipeline, работать с Kafka, PostgreSQL и ClickHouse, а также автоматизировать процессы развертывания.
Задачи
- Разрабатывать на Python.
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL-процессы для загрузки данных из различных источников.
- Разрабатывать продюсеров и консьюмеров Apache Kafka, управлять топиками и обеспечивать надежность и отказоустойчивость потоковой обработки данных.
- Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL.
- Строить, администрировать и настраивать ClickHouse-кластеры для производительной аналитической обработки больших объемов данных.
- Разрабатывать и поддерживать решения на базе ClickHouse или связки PostgreSQL и ClickHouse.
- Интегрировать данные между PostgreSQL, Kafka, ClickHouse, API, очередями и S3.
- Мониторить производительность, отказоустойчивость и безопасность data pipeline и баз данных.
- Автоматизировать обработку данных и развертывание с использованием CI/CD.
- Взаимодействовать с аналитиками, разработчиками и product owner'ами.
- Устранять неисправности в pipeline данных и базах данных.
Условия
Работа в офисе в Москве.
Компания
Мегафон