Sobre a vaga
Нужно с нуля построить дата-платформу для данных 50к+ бизнесов: от подключения источников до аналитических витрин. Роль предполагает самостоятельный выбор архитектурных паттернов и инструментов.
О компании и продукте
YCLIENTS — B2B SaaS-компания. Данные используются для бизнеса в сфере услуг.
Чем предстоит заниматься
- Подключить OLTP и API, настроить инкременты в Iceberg на S3
- Провести PoC CDC через Debezium и Kafka в лейкхаус
- Запустить трансформации Bronze → Silver → Gold
- Определить стратегию использования инструментов, например Trino для ad-hoc и ClickHouse для BI
- Настроить мониторинг свежести данных
- Автоматизировать бэкфиллы в Airflow
- Построить лейкхаус с нуля — от источников до витрин
Что важно
Стек не догма: опыт построения лейкхауса на Delta или Hudi подойдёт, если кандидат понимает принципы. Главное — архитектурное мышление.
- Сильный SQL и опыт работы с инкрементами и витринами
- Python для интеграций, а не только для скриптов
- Опыт работы с Airflow в проде: зависимости, ретраи, бэкфиллы
- Понимание лейкхауса: снепшоты, эволюция схемы, слоистость
- Опыт с Debezium и CDC будет плюсом
Условия
- Удалённая работа или работа в Москве
- До 450 000 ₽ net
Особенности проекта
- Зелёное поле: не нужно мигрировать с легаси, дата-платформа строится с нуля
- Архитектурная свобода: кандидат выбирает паттерны и инструменты
- Высокая ответственность за данные 50к+ бизнесов в сфере услуг
- Первые витрины планируется запустить за 6–8 недель
Как откликнуться
Писать: @aaankvic