Sobre a vaga
В команду платформенных данных Финтеха Яндекса ищут инженера по Apache Spark для развития платформы обработки данных в режиме near real time. Задачи включают повышение отказоустойчивости и производительности потоковых процессов, развитие облачной дата-платформы и внутренних фреймворков обработки данных.
Компания
Финтех Яндекса развивает финансовые сервисы, включая Яндекс Пэй, Сплит, Сейвы, Карту Плюса, кредитные продукты, Яндекс ID и Яндекс Про.
Задачи
- Проектировать и развивать облачную дата-платформу с использованием технологий Yandex Cloud.
- Создавать единую observability-платформу для таблиц DWH, включая мониторинг статусов сборки, качества данных, зависимостей, datalineage и логирования.
- Оптимизировать процессы поставки данных, включая создание снепшотов, загрузку инкрементов из аудит-таблиц и CDC.
- Внедрять Spark Streaming или аналогичные решения для обновления данных с минимальной задержкой.
- Создавать изолированные среды разработки, тестирования и предпрода с автоматизированными проверками.
- Развивать внутренние фреймворки загрузки, трансформации и контроля качества данных.
Условия
Компания компенсирует обеды и предоставляет свежие фрукты на кофепойнтах.