Sobre a vaga
YCLIENTS ищет Senior Data Engineer для построения дата-платформы с нуля. Предстоит разработать lakehouse от источников до витрин и запустить первые витрины за 6–8 недель.
Задачи
- Подключать OLTP и API и настраивать инкрементальную загрузку в Iceberg на S3
- Провести PoC CDC через Debezium и Kafka в lakehouse
- Запустить трансформации Bronze, Silver и Gold
- Определить стратегию использования Trino для ad-hoc-запросов и ClickHouse для BI
- Настроить мониторинг свежести данных и автоматизировать бэкфиллы в Airflow
Условия
- Удалённая работа или работа в Москве
- Оплата до 450 000 ₽ net
- Зелёное поле: дата-платформа строится с нуля без миграции с легаси
- Архитектурная свобода в выборе паттернов и инструментов
- Данные используются более чем 50 000 бизнесов в сфере услуг
- Первые витрины планируется запустить за 6–8 недель
О компании
YCLIENTS — B2B SaaS-компания. Сейчас используются реплика базы данных и ClickHouse как песочница.