Kas yra broadcast join Spark ir kam jis skirtas?

Broadcast join Apache Spark yra optimizacija jungimo (join) operacijai, kai viena iš lentelių (paprastai mažesnė) perduodama (broadcast) visiems klasterio mazgams, kur atliekamas jungimas su didesne lentele.

Kam tai naudinga?

• Įprasto shuffle join atveju abi lentelės yra padalijamos ir siunčiamos per tinklą, kas gali būti brangu dideliems duomenims.
• Jei viena iš lentelių yra pakankamai maža, ją galima 'broadcast' visiems darbo mazgams, kad išvengtumėte didelės lentelės shuffle.
• Tai žymiai pagreitina jungimo vykdymą, sumažina tinklo srautą ir apkrovą klasteryje.

Naudojimo pavyzdys:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Čia broadcast(smallDF) nurodo Spark perduoti smallDF visiems mazgams, kas pagerina našumą jungiant su largeDF.

Broadcast join ypač naudingas scenarijuose, kai viena lentelė yra žymiai mažesnė už kitą ir gali tilpti į kiekvieno mazgo atmintį.