Что такое lazy вычисления в Spark?

В Apache Spark ленивые (lazy) вычисления означают, что операции над данными не выполняются сразу при их вызове. Вместо этого Spark строит план вычислений (DAG — Directed Acyclic Graph), который будет выполнен только тогда, когда требуется результат — например, при вызове действий (actions) вроде collect(), count(), save().

Это позволяет оптимизировать выполнение, объединяя несколько трансформаций в один этап, минимизируя чтение и запись данных, а также эффективно распределяя нагрузку по кластерам.

Пример:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // ленивое преобразование
val count = filtered.count() // действие, запускает вычисления

Здесь filter не выполняется сразу, а только при вызове count().