¿Qué es un join de transmisión en Spark y para qué sirve?

Broadcast join en Apache Spark es una optimización de la operación de unión (join), en la que una de las tablas (generalmente la más pequeña) se transmite (transmite) a todos los nodos del clúster, donde se realiza la unión con la tabla grande.

¿Para qué sirve esto?

• En un shuffle join normal, ambas tablas se dividen y se envían por la red, lo cual puede ser costoso con grandes volúmenes de datos.
• Si una de las tablas es lo suficientemente pequeña, se puede 'difundir' a todos los nodos de trabajo para evitar el shuffle de la tabla grande.
• Esto acelera significativamente la ejecución del join, reduce el tráfico de red y la carga en el clúster.

Ejemplo de uso:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Aquí, broadcast(smallDF) indica a Spark que transmita smallDF a todos los nodos, lo que mejorará el rendimiento al unir con largeDF.

El broadcast join es especialmente útil en escenarios donde una tabla es significativamente más pequeña que la otra y puede caber en la memoria de cada nodo.