Join-и broadcast дар Spark чист ва барои чӣ лозим аст?

Бродкаст ҷойи дар Apache Spark оптимизатсияи амалиёти пайваст (join) мебошад, ки дар он яке аз ҷадвалҳо (одатан хурдтар) ба ҳамаи нодҳои кластер интиқол дода мешавад (broadcast), ки дар он бо ҷадвали калон пайваст карда мешавад.

Мақсади он:

• Дар shuffle join оддӣ, ҳарду ҷадвал тақсим ва тавассути шабака фиристода мешаванд, ки метавонад бо маълумоти калон гарон бошад.
• Агар яке аз ҷадвалҳо ба қадри кофӣ хурд бошад, онро ба ҳама нодҳои корӣ 'broadcast' кардан мумкин аст, то shuffle-и ҷадвали калонро пешгирӣ кунад.
• Ин ба таври назаррас иҷрои join-ро суръат мебахшад, трафики шабака ва борро дар кластер кам мекунад.

Маслиҳат барои истифода:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Ин ҷо, broadcast(smallDF) ба Spark нишон медиҳад, ки smallDF-ро ба ҳама нодҳо интиқол диҳад, ки иҷрои пайвастшавиро бо largeDF беҳтар мекунад.

Join-и broadcast махсусан дар сценариҳое, ки як ҷадвал назар ба дигар хеле хурд аст ва метавонад дар хотираи ҳар нод ҷойгир шавад, муфид аст.