Czym jest broadcast join w Spark i do czego służy?

Broadcast join w Apache Spark to optymalizacja operacji łączenia (join), w której jedna z tabel (zazwyczaj mniejsza) jest transmitowana (broadcastowana) do wszystkich węzłów klastra, gdzie wykonywane jest połączenie z dużą tabelą.

Po co to jest?

• W zwykłym shuffle join obie tabelki są dzielone i przesyłane przez sieć, co może być kosztowne przy dużych danych.
• Jeśli jedna z tabel jest wystarczająco mała, można ją 'broadcastować' na wszystkie węzły robocze, aby uniknąć shuffle dużej tabeli.
• To znacznie przyspiesza wykonanie join, zmniejsza ruch sieciowy i obciążenie klastra.

Przykład użycia:

val smallDF = spark.read.parquet("small_table.parquet")
val largeDF = spark.read.parquet("large_table.parquet")

val joined = largeDF.join(broadcast(smallDF), "key")

Tutaj broadcast(smallDF) wskazuje Spark, aby transmitować smallDF do wszystkich węzłów, co poprawi wydajność podczas łączenia z largeDF.

Broadcast join jest szczególnie przydatny w scenariuszach, gdzie jedna tabela jest znacznie mniejsza od drugiej i może zmieścić się w pamięci każdego węzła.