Wat is uw ervaring met AWS Glue, Antenna en Spark?

Ik werkte met AWS Glue voor serverloze ETL-taken, met behulp van PySpark. Ik configureerde Glue-triggers voor S3-gebeurtenissen. Ik gebruikte AWS Data Catalog.

Ik heb geen ervaring met Antenna.

Ik werkte voornamelijk met Apache Spark via PySpark om grote gegevens te verwerken. Ik gebruikte Spark SQL voor gestructureerde query's en RDD API voor lagere niveaubewerkingen. Ervaring met het uitrollen van Spark: lokale clusters, YARN en Spark op Kubernetes.

Voorbeeld van een eenvoudig ETL-script in PySpark voor AWS Glue:

# glue_etl_script.py
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# Data lezen uit S3
datasource0 = glueContext.create_dynamic_frame.from_options(
    format_options={"multiline": False},
    connection_type="s3",
    format="json",
    connection_options={"paths": ["s3://my-source-bucket/input_data/"], "recurse": True},
    transformation_ctx="datasource0"
)

# Data transformeren (voorbeeld: kolommen selecteren en hernoemen)
applymapping1 = ApplyMapping.apply(
    frame=datasource0,
    mappings=[
        ("id", "long", "user_id", "long"),
        ("name", "string", "user_name", "string"),
        ("value", "double", "amount", "double")
    ],
    transformation_ctx="applymapping1"
)

# Getransformeerde data terugschrijven naar S3
datasink2 = glueContext.write_dynamic_frame.from_options(
    frame=applymapping1,
    connection_type="s3",
    format="parquet",
    connection_options={"path": "s3://my-target-bucket/output_data/", "partitionKeys": []},
    transformation_ctx="datasink2"
)

job.commit()