Kad Spark sāk īstenot faktiskos aprēķinus uz datiem?

Apache Spark использует ленивые вычисления (lazy evaluation). Это значит, что при создании трансформаций над данными (например, map, filter) Spark не выполняет их сразу, а лишь строит план вычислений.

Фактическое выполнение вычислений начинается только при вызове действий (actions), таких как collect(), count(), save(), которые требуют результата.

Например:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error"))
// Здесь Spark ничего не делает
val count = filtered.count() // Здесь начинается выполнение

Таким образом, Spark оптимизирует выполнение, объединяя операции и минимизируя чтение и запись данных.