About the vacancy
Специалист будет отвечать за построение и развитие data-пайплайнов, работу с потоковой обработкой данных и аналитической инфраструктурой. Важны опыт с ClickHouse, Debezium, Kafka, Airflow, DBT, SQL и Python.
О компании
BI Group — крупнейшая девелоперская компания Центральной Азии.
Требования
- Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов
- Глубокое понимание ClickHouse и движков семейства MergeTree: ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree
- Знание партиционирования, проекций и материализованных представлений в ClickHouse
- Опыт настройки шардирования и репликации
- Навыки оптимизации тяжёлых запросов
- Опыт настройки CDC-коннекторов Debezium для реляционных и NoSQL-источников
- Понимание snapshot- и streaming-режимов, обработки schema evolution и работы с Kafka Connect
- Уверенное написание DAG'ов в Apache Airflow
- Опыт работы с TaskFlow API, разработки кастомных операторов и хуков
- Понимание архитектуры Apache Airflow: scheduler, executor, workers
- Опыт настройки мониторинга и алертинга в Apache Airflow
- Опыт построения моделей и тестов в DBT, включая generic и singular-тесты
- Знание макросов, инкрементальных моделей, источников и снапшотов в DBT
- Опыт ведения документации в DBT
- Уверенное знание SQL: оконные функции, CTE, чтение и оптимизация планов выполнения
- Python на уровне продакшн-кода
- Опыт работы с качеством данных: написание тестов, data contracts, observability-практики
Условия
- Зарплата от 200 000 ₽
- Работа в офисе
- Астана