Šta su lazy izračuni u Spark-u?

У Apache Spark, lenjivi (lazy) računi znače da operacije nad podacima nisu odmah izvršene pri njihovom pozivu. Umesto toga, Spark gradi plan izračuna (DAG — Directed Acyclic Graph), koji će biti izvršen tek kada je rezultat potreban, na primer, pri pozivu akcija kao što su collect(), count(), save().

Ovo omogućava optimizaciju izvršenja, kombinovanjem više transformacija u jedan korak, minimiziranjem čitanja i zapisivanja podataka, kao i efikasnim raspoređivanjem opterećenja po klasterima.

Primer:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // lenja transformacija
val count = filtered.count() // akcija, koja pokreće izračunavanja

Ovde, filter se ne izvršava odmah, već samo kada se pozove count().