Работал с AWS Glue для бессерверных ETL-задач, используя PySpark. Настраивал триггеры Glue на S3 события. Использовал AWS Data Catalog.
С Antenna не сталкивался.
С Apache Spark работал в основном через PySpark для обработки больших данных. Применял Spark SQL для структурированных запросов и RDD API для более низкоуровневых операций. Опыт развёртывания Spark: локальные кластеры, YARN и Spark on Kubernetes.
Пример простого ETL скрипта на PySpark для AWS Glue:
pythonРаботал с AWS Glue для бессерверных ETL-задач, используя PySpark. Настраивал триггеры Glue на S3 события. Использовал AWS Data Catalog.
С Antenna не сталкивался.
С Apache Spark работал в основном через PySpark для обработки больших данных. Применял Spark SQL для структурированных запросов и RDD API для более низкоуровневых операций. Опыт развёртывания Spark: локальные кластеры, YARN и Spark on Kubernetes.
Пример простого ETL скрипта на PySpark для AWS Glue:
pythonRegister or sign in to get access to full answers for all questions from the question bank.