Az állásról
Специалист будет заниматься обработкой больших объёмов данных из разнородных источников, созданием аналитических витрин и подготовкой данных для машинного обучения. Также в зоне ответственности — качество, оптимизация и автоматизация процессов работы с данными.
Компания
Сбер. Проект SafeHub.
Задачи
- Анализировать структуры данных в разных источниках и форматах, оценивать их пригодность для конкретных бизнес-задач
- Загружать, обрабатывать и преобразовывать большие объёмы данных из разнородных хранилищ Oracle, Teradata, MS SQL и GreenPlum в рабочие среды GreenPlum и Hadoop
- Проектировать и создавать аналитические витрины данных
- Подготавливать и предварительно обрабатывать данные для обучения моделей машинного обучения
- Мониторить и оптимизировать рабочие процессы обработки и загрузки данных
- Контролировать качество входных данных и автоматизировать проверки качества данных
- Разрабатывать инфраструктуру и внутренние сервисы для эффективной обработки больших объёмов данных
- Автоматизировать повторяющиеся операции с данными
- Создавать техническую документацию и поддерживать базы знаний по работе с данными
- Консультировать пользователей внутри компании по вопросам использования данных
Требования
- Высшее образование
- Опыт работы от 2 лет в роли Data Engineer, Data Analyst или ETL-разработчика
- Продвинутый уровень владения SQL: аналитические функции, подзапросы, хранимые процедуры, производительность запросов
- Практический опыт работы с большими объёмами данных в реляционных СУБД Oracle, Teradata, MS SQL и GreenPlum
- Понимание концепции и принципов организации хранилища данных DWH
Условия
- Работа в офисе
- Москва
Отклик
Откликнуться можно по ссылке: https://rabota.sber.ru/search/data-engineer-safehub-4501598/