Mis on broadcast join Sparkis ja milleks see on vajalik?

Broadcast join Apache Spark'is on optimeerimine, kus üks tabel (tavaliselt väiksem) edastatakse (broadcast) kõigile klastri sõlmedele, kus toimub ühendamine suure tabeliga.

Milleks see kasulik on?

• Tavalise shuffle join'i puhul jagatakse mõlemad tabelid ja saadetakse võrgus, mis võib olla kulukas suurte andmete puhul.
• Kui üks tabel on piisavalt väike, saab selle 'broadcast'-ida kõigile töö sõlmedele, vältides suure tabeli shuffle'it.
• See kiirendab oluliselt join'i täitmist, vähendab võrgu liiklust ja klastrile koormust.

Kasutusnäide:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Siin näitab broadcast(smallDF) Sparkile, et smallDF tuleks edastada kõigile sõlmedele, mis parandab jõudlust largeDF-ga ühendamisel.

Broadcast join on eriti kasulik olukordades, kus üks tabel on märkimisväärselt väiksem kui teine ja mahub iga sõlme mällu.