Ինչ է broadcast join-ը Spark-ում և ինչու է այն անհրաժեշտ?

Apache Spark-ում broadcast join-ը օպտիմալիզացիայի մի ձև է, որտեղ մեկ աղյուսակը (հաճախ փոքր) փոխանցվում է (broadcast) բոլոր հանգույցներին, որտեղ կատարվում է մեծ աղյուսակի հետ միացում:

Ի՞նչ է դա օգտակար:

• սովորական shuffle join-ում երկու աղյուսակներն էլ բաժանվում և փոխանցվում են ցանցով, ինչը կարող է լինել թանկ՝ մեծ տվյալների դեպքում:
• եթե մեկը աղյուսակներից բավականին փոքր է, այն կարող է 'broadcast'-վել բոլոր աշխատանքային հանգույցներին, որպեսզի խուսափել մեծ աղյուսակի shuffle-ից:
• սա զգալիորեն արագացնում է join-ի կատարմանը, նվազեցնում ցանցային տրաֆիկը և բեռը հանգույցների վրա:

Օգտագործման օրինակ:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Այստեղ broadcast(smallDF)-ը Spark-ին ցույց է տալիս, որ պետք է փոխանցել smallDF-ը բոլոր հանգույցներին, ինչը բարելավում է կատարողականությունը largeDF-ի հետ միացման ժամանակ:

Broadcast join-ը հատկապես օգտակար է այն դեպքերում, երբ մեկ աղյուսակը զգալիորեն փոքր է մյուսից և կարող է տեղավորվել յուրաքանչյուր հանգույցի հիշողության մեջ: