Über die Stelle
Ищут Senior Data Platform Engineer / Big Data SRE для эксплуатации и развития корпоративной платформы данных в промышленной компании. Работа удалённая, срок привлечения — 7 месяцев с возможной пролонгацией.
Обязанности
- Эксплуатировать и развивать Data Platform на базе Arenadata DB, Greenplum, Kafka и ClickHouse.
- Администрировать кластеры хранения и обработки данных, настраивать отказоустойчивость, репликацию и балансировку.
- Управлять обновлениями, патчами и релизами.
- Администрировать Kafka-кластеры, настраивать topology, partitioning и replication, retention, а также тюнинговать producer и consumer.
- Поддерживать потоковые ETL и ingestion pipelines.
- Интегрировать платформу с DWH, BI и ML-системами.
- Поддерживать контуры передачи и обработки данных между системами и стабильность data pipelines.
- Мониторить платформу с помощью Prometheus, Grafana и ELK/OpenSearch.
- Анализировать производительность SQL, storage и network, оптимизировать запросы и работу кластеров.
- Реагировать на инциденты L2/L3 и проводить root cause analysis.
- Автоматизировать эксплуатацию с помощью Bash, Python, Ansible и Terraform.
- Развивать CI/CD для инфраструктуры данных и управлять конфигурациями как Infrastructure as Code.
- Настраивать RBAC и разграничение доступа.
- Готовить документацию и инструкции, передавать знания и участвовать в менторстве.
Условия
- Удалённый формат работы.
- Срок привлечения — 7 месяцев с возможной пролонгацией.
Будет преимуществом
- Docker и Kubernetes.
- Hadoop ecosystem.
- Spark и Flink.
- Airflow.
- Опыт работы с высоконагруженными enterprise DWH.
- Опыт в промышленности, телекоме или финтехе.