Informazioni sull'offerta
Python-разработчик (middle) #офис #middle Екатеринбург Компания: Мегафон
☑️Какие задачи необходимо решать
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL процессы для загрузки данных из различных источников• Управлять потоковой обработкой данных с использованием Apache Kafka • Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач• Строить, администрировать и настраивать ClickHouse кластеры для обеспечения высокой производительности аналитических запросов на больших объемах данных• Разрабатывать и поддерживать решения на базе ClickHouse (или связки PostgreSQL + ClickHouse)• Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)• Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных• Автоматизировать процессы обработки данных и развертывания (CI/CD)• Взаимодействовать с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации• Устранять неисправности в pipeline данных и базах данных