რა არის broadcast join Spark-ში და რა მიზნით გამოიყენება?

Apache Spark-ში broadcast join არის ოპტიმიზაცია ოპერაციის გაერთიანებისთვის (join), სადაც ერთ-ერთი ცხრილი (ზოგჯერ პატარა) გადაეცემა (broadcast) ყველა კვანძზე კლასტერში, სადაც ხორციელდება დიდი ცხრილის გაერთიანება.

რა არის ამის მიზანი?

• ჩვეულებრივ shuffle join-ში ორივე ცხრილი ნაწილდება და გადაეცემა ქსელით, რაც შეიძლება ძვირი იყოს დიდი მონაცემებისთვის.
• თუ ერთ-ერთი ცხრილი საკმარისად პატარაა, მას შეიძლება 'broadcast'-დეს ყველა სამუშაო კვანძზე, რათა თავიდან აიცილოს დიდი ცხრილის shuffle.
• ეს მნიშვნელოვნად აჩქარებს join-ის შესრულებას, ამცირებს ქსელის ტრაფიკს და კლასტერის დატვირთვას.

გამოყენების მაგალითი:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

აქ broadcast(smallDF) აჩვენებს Spark-ს, რომ უნდა გადმოსცეს smallDF ყველა კვანძზე, რაც აუმჯობესებს შესრულებას largeDF-თან გაერთიანების დროს.

Broadcast join განსაკუთრებით სასარგებლოა სცენარებში, სადაც ერთი ცხრილი მნიშვნელოვნად პატარაა მეორე ცხრილთან შედარებით და შეუძლია მოათავსოს თითოეულ კვანძზე მეხსიერებაში.