Mis on lazy arvutused Sparkis?

Apache Spark'is lazy (kestus) arvutused tähendavad, et andmetega tehtavad operatsioonid ei täida kohe nende kutsumisel. Selle asemel koostab Spark arvutuskava (DAG — Directed Acyclic Graph), mis täidetakse ainult siis, kui tulemust on vaja, näiteks collect(), count(), save() tegevuste puhul.

See võimaldab optimeerida täitmist, ühendades mitu transformatsiooni ühte etappi, minimeerides andmete lugemist ja kirjutamist ning tõhusalt jaotades koormust klastrite vahel.

Näide:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // lazy transformatsioon
val count = filtered.count() // tegevus, mis käivitab arvutused

Siin filter ei täida kohe, vaid ainult count() kutsumisel.