Kas ir broadcast join Spark un kam tas ir paredzēts?

Broadcast join Apache Spark ir ir optimizācija, kurā viena no tabulām (parasti mazāka) tiek pārraidīta (broadcast) uz visiem klastera mezgliem, kur tiek veikta savienošana ar lielo tabulu.

Kam tas ir noderīgi?

• Parastajā shuffle join abās tabulās tiek sadalītas un nosūtītas pa tīklu, kas var būt dārgi ar lieliem datiem.
• Ja viena no tabulām ir pietiekami maza, to var 'broadcast' uz visiem darba mezgliem, lai izvairītos no lielās tabulas shuffle.
• Tas ievērojami paātrina join izpildi, samazina tīkla trafiku un klastera slodzi.

Piemērs lietošanai:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Šeit broadcast(smallDF) norāda Spark nodot smallDF uz visiem mezgliem, kas uzlabo veiktspēju, veicot savienojumu ar largeDF.

Broadcast join ir īpaši noderīgs scenārijos, kad viena tabula ir ievērojami mazāka par otru un var ietilpt katra mezgla atmiņā.