Qu'est-ce qu'une jointure broadcast dans Spark et à quoi sert-elle?

La jointure par diffusion dans Apache Spark est une optimisation de l'opération de jointure (join), où l'une des tables (généralement la plus petite) est transmise (diffusée) à tous les nœuds du cluster, où la jointure avec la grande table est effectuée.

À quoi cela sert-il ?

• Lors d'un shuffle join classique, les deux tables sont divisées et envoyées sur le réseau, ce qui peut être coûteux avec de grandes quantités de données.
• Si l'une des tables est suffisamment petite, elle peut être « diffusée » à tous les nœuds de travail pour éviter le shuffle de la grande table.
• Cela accélère considérablement l'exécution du join, réduit le trafic réseau et la charge sur le cluster.

Exemple d'utilisation :

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Ici, broadcast(smallDF) indique à Spark de diffuser smallDF à tous les nœuds, ce qui améliorera les performances lors de la jointure avec largeDF.

Le broadcast join est particulièrement utile dans les scénarios où une table est nettement plus petite que l'autre et peut tenir en mémoire sur chaque nœud.