About the vacancy
Ищут специалиста по обработке и интеграции данных с опытом работы с MPP-базами данных, Python и Apache Airflow.
Условия
Москва
Требования
- Уверенное знание MPP-баз данных: Greenplum или аналогов Redshift, Vertica
- Умение писать сложные SQL-запросы
- Понимание партиционирования, distribution keys и работы с большими объёмами данных
- Знание PostgreSQL: индексы, транзакции, оконные функции, работа с pg-драйверами
- Уверенное владение Python для задач обработки данных
- Опыт работы с pandas, psycopg2 или SQLAlchemy, boto3 и requests
- Умение писать читаемый и поддерживаемый код
- Опыт работы с Apache Airflow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка
- Понимание принципов ETL
- Умение реализовывать загрузку CSV и структурированных данных в базы данных
- Опыт работы с S3-совместимыми хранилищами, включая Yandex Object Storage и AWS S3: загрузка, хранение промежуточных и выходных данных
- Опыт работы с Informatica или аналогами Talend, dbt, SSIS будет плюсом