Работали ли вы с Apache Spark?

Да, работал с Apache Spark — это распределённая платформа для обработки больших данных, которая позволяет эффективно выполнять вычисления в памяти и обрабатывать огромные объёмы информации.

Использовал Spark для задач ETL (извлечение, трансформация, загрузка), анализа данных и подготовки данных для моделей машинного обучения. Благодаря Spark можно быстро обрабатывать данные из различных источников (HDFS, базы данных, файлы) и использовать API на Scala, Python (PySpark) или Java.

Пример простого кода на PySpark для подсчёта количества строк в файле:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Example").getOrCreate()

# Загрузка данных
df = spark.read.csv("data.csv", header=True)

# Подсчёт строк
count = df.count()
print(f"Количество строк: {count}")

spark.stop()

Spark широко применяется в задачах big data, data engineering и машинного обучения благодаря своей масштабируемости и скорости.