Дар бораи чои холй
Мегафон ищет middle Python-разработчика в Екатеринбурге для разработки и поддержки ETL-процессов, потоковой обработки данных и решений на базе PostgreSQL и ClickHouse.
Задачи
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL-процессы для загрузки данных из различных источников.
- Разрабатывать продюсеров и консьюмеров Apache Kafka, управлять топиками и обеспечивать надежность и отказоустойчивость потоков данных.
- Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL.
- Строить, администрировать и настраивать ClickHouse-кластеры.
- Разрабатывать и поддерживать решения на базе ClickHouse или связки PostgreSQL и ClickHouse.
- Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры.
- Мониторить производительность, отказоустойчивость и безопасность data pipeline и баз данных.
- Автоматизировать обработку данных и развертывание с использованием CI/CD.
- Взаимодействовать с аналитиками, разработчиками и product owner-ами.
- Устранять неисправности в data pipeline и базах данных.
Условия
Работа в офисе в Екатеринбурге.