Wann beginnt Spark mit der tatsächlichen Ausführung der Berechnungen an den Daten?

Apache Spark использует ленивые вычисления (lazy evaluation). Это значит, что при создании трансформаций над данными (например, map, filter) Spark не выполняет их сразу, а лишь строит план вычислений.

Фактическое выполнение вычислений начинается только при вызове действий (actions), таких как collect(), count(), save(), которые требуют результата.

Например:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error"))
// Здесь Spark ничего не делает
val count = filtered.count() // Здесь начинается выполнение

Таким образом, Spark оптимизирует выполнение, объединяя операции и минимизируя чтение и запись данных.