Ce sunt calculele lazy în Spark?

În Apache Spark, calculele lazy (lene) înseamnă că operațiile asupra datelor nu sunt executate imediat la apel. În schimb, Spark construiește un plan de calcul (DAG — Grafic Dirijat Acyclic), care va fi executat doar atunci când rezultatul este necesar, de exemplu, la apelarea acțiunilor precum collect(), count(), save().

Acest lucru permite optimizarea execuției, combinând mai multe transformări într-o singură etapă, minimizând citirea și scrierea datelor și distribuind eficient sarcina pe clustere.

Exemplu:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // transformare lazy
val count = filtered.count() // acțiune, care pornește calculele

Aici, filter nu se execută imediat, ci doar când se apelează count().