Kas yra lazy skaičiavimai Spark?

Apache Spark, vėluojantys (lazy) skaičiavimai reiškia, kad duomenų operacijos nėra vykdomos iš karto jų iškvietimo metu. Vietoj to, Spark kuria skaičiavimo planą (DAG — Directed Acyclic Graph), kuris bus vykdomas tik tada, kai reikės rezultato, pavyzdžiui, iškvietus veiksmus kaip collect(), count(), save().

Tai leidžia optimizuoti vykdymą, sujungiant kelias transformacijas į vieną etapą, minimalizuojant duomenų skaitymą ir rašymą, taip pat efektyviai paskirstant apkrovą klasteriuose.

Pavyzdys:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // vėluojanti transformacija
val count = filtered.count() // veiksmas, kuris pradeda skaičiavimus

Čia filter nėra vykdomas iš karto, o tik kai iškviečiamas count().