Vakansiya haqqında
Plazo Technologies ищет Middle Data Engineer для развития ClickHouse-ориентированного хранилища данных, ETL/ELT-пайплайнов и процессов контроля качества данных. Роль предполагает взаимодействие с командами Risk, Collections, Marketing, Finance и Data Science.
Что предстоит делать
- Проектировать, создавать и оптимизировать модели данных и пайплайны трансформации в хранилище на базе ClickHouse.
- Разрабатывать и поддерживать ETL/ELT-загрузку из операционных баз данных, потоков событий и сторонних API.
- Повышать производительность, стабильность и экономичность существующих пайплайнов и запросов.
- Отвечать за качество данных, автоматизированные тесты, мониторинг свежести и аномалий.
- Взаимодействовать с командами Risk, Collections, Marketing, Finance и Data Science для создания надёжных моделей данных.
- Поддерживать аналитиков и BI-пользователей и сокращать повторяющиеся ручные запросы за счёт их продуктовой автоматизации.
Стек
- Языки: SQL, Python.
- Хранилище: ClickHouse.
- Трансформации: dbt.
- Оркестрация: Apache Airflow.
- Потоки и загрузка данных: Kafka, CDC.
- Визуализация: Apache Superset, Tableau.
- Инфраструктура: Prometheus, Grafana, Docker, Git.
Отклик
Отклик: @annakamyak