Зачем нужен Spark и как он работает?

Apache Spark — это распределённый фреймворк для обработки больших данных, который позволяет выполнять вычисления в памяти, что значительно ускоряет обработку по сравнению с традиционными системами, такими как Hadoop MapReduce.

Spark используется для анализа больших объёмов данных, построения моделей машинного обучения, обработки потоковых данных и выполнения сложных вычислительных задач.

Как он работает:

• Данные разбиваются на части и распределяются по кластерам.
• Spark выполняет операции над этими данными параллельно на разных узлах.
• Использует концепцию RDD (Resilient Distributed Dataset) — неизменяемых распределённых коллекций, которые можно эффективно обрабатывать и восстанавливать при сбоях.
• Поддерживает различные API: SQL, DataFrame, Dataset, MLlib для машинного обучения, GraphX для графовых вычислений.

Пример использования Spark на Scala для подсчёта слов:

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.appName("WordCount").getOrCreate()
val sc = spark.sparkContext

val textFile = sc.textFile("hdfs://path/to/file.txt")
val counts = textFile.flatMap(line => line.split(" "))
                     .map(word => (word, 1))
                     .reduceByKey(_ + _)

counts.collect().foreach(println)

spark.stop()