Какви са lazy изчисленията в Spark?

В Apache Spark ленивите (lazy) изчисления означават, че операциите върху данните не се изпълняват веднага при тяхното извикване. Вместо това, Spark създава план за изчисление (DAG — Directed Acyclic Graph), който ще бъде изпълнен само когато резултатът е необходим — например при извикване на действия като collect(), count(), save().

Това позволява оптимизиране на изпълнението, като се обединят няколко трансформации в един етап, минимизиране на четенето и записването на данни, както и ефективно разпределяне на натоварването по клъстерите.

Пример:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // лениво преобразуване
val count = filtered.count() // действие, което стартира изчисленията

Тук filter не се изпълнява веднага, а само при извикване на count().