Boş pozisyon hakkında
Ищут Middle/Senior Data Engineer для поддержки и развития дата-инфраструктуры, работы с большими потоками данных и обеспечения стабильности и качества данных в реальном времени.
Чем предстоит заниматься
- Поддерживать и развивать дата-пайплайны для исторической и потоковой обработки данных, включая агрегацию, обработку и верификацию.
- Разрабатывать и оптимизировать Python-скрипты для интеграции данных из внешних источников и работы с потоками данных.
- Настраивать и развивать процессы проверки качества данных, выявлять и исправлять ошибки.
- Развивать инфраструктуру хранения и доступа к сырым данным, включая Data Lake, рефакторинг пайплайнов и оптимизацию хранения неагрегированных данных.
- Мониторить системы, реагировать на алерты, устранять неполадки и обеспечивать стабильную работу критичных сервисов.