Welche Erfahrung haben Sie mit AWS Glue, Antenna und Spark?

Ich habe mit AWS Glue für serverlose ETL-Aufgaben gearbeitet, unter Verwendung von PySpark. Ich habe Glue-Trigger für S3-Ereignisse eingerichtet. Ich nutzte den AWS Data Catalog.

Mit Antenna hatte ich keine Erfahrung.

Ich arbeitete hauptsächlich mit Apache Spark über PySpark, um große Datenmengen zu verarbeiten. Ich verwendete Spark SQL für strukturierte Abfragen und die RDD-API für Operationen auf niedriger Ebene. Erfahrung mit der Bereitstellung von Spark: lokale Cluster, YARN und Spark auf Kubernetes.

Beispiel eines einfachen ETL-Skripts in PySpark für AWS Glue:

# glue_etl_script.py
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# Daten aus S3 lesen
datasource0 = glueContext.create_dynamic_frame.from_options(
    format_options={"multiline": False},
    connection_type="s3",
    format="json",
    connection_options={"paths": ["s3://my-source-bucket/input_data/"], "recurse": True},
    transformation_ctx="datasource0"
)

# Daten transformieren (Beispiel: Spalten auswählen und umbenennen)
applymapping1 = ApplyMapping.apply(
    frame=datasource0,
    mappings=[
        ("id", "long", "user_id", "long"),
        ("name", "string", "user_name", "string"),
        ("value", "double", "amount", "double")
    ],
    transformation_ctx="applymapping1"
)

# Transformierte Daten zurück in S3 schreiben
datasink2 = glueContext.write_dynamic_frame.from_options(
    frame=applymapping1,
    connection_type="s3",
    format="parquet",
    connection_options={"path": "s3://my-target-bucket/output_data/", "partitionKeys": []},
    transformation_ctx="datasink2"
)

job.commit()