De la vacante
Wildberries ищет Data Engineer для корпоративного хранилища и эксплуатации Data Platform на базе Trino, Spark, S3 и Apache Iceberg. Работа удалённая.
Что нужно делать
- Обеспечивать стабильную, производительную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg.
- Администрировать платформу, управлять ролевой моделью доступа и документировать изменения в проекте.
- Настраивать, обновлять, мониторить и оптимизировать кластеры Trino.
- Настраивать коннекторы Iceberg и S3.
- Оптимизировать производительность запросов с помощью resource groups и query analysis.
- Оптимизировать производительность Iceberg: partitioning, clustering и metadata management.
- Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы.
Компания
Wildberries