În ce moment Spark începe executarea efectivă a calculelor pe date?

Apache Spark использует ленивые вычисления (lazy evaluation). Это значит, что при создании трансформаций над данными (например, map, filter) Spark не выполняет их сразу, а лишь строит план вычислений.

Фактическое выполнение вычислений начинается только при вызове действий (actions), таких как collect(), count(), save(), которые требуют результата.

Например:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error"))
// Здесь Spark ничего не делает
val count = filtered.count() // Здесь начинается выполнение

Таким образом, Spark оптимизирует выполнение, объединяя операции и минимизируя чтение и запись данных.