Spark'ta lazy эсептөө деген эмне?

Apache Spark-та ленив (lazy) эсептөөлөр дегендик, маалыматтар үстүндө жасалган операциялар дароо ишке ашпайт дегенди билдирет. Ал үчүн Spark эсептөө планы (DAG — Directed Acyclic Graph) түзөт, ал гана керек болгондо — мисалы, collect(), count(), save() сыяктуу аракеттерди чакырганда — ишке ашырылат.

Бул аткарууну оптималдаштырууга мүмкүндүк берет, бир нече трансформацияны бир этапка бириктирип, маалыматтарды окуу жана жазууну минималдаштырып, жүктү кластерлер боюнча эффективдүү бөлүштүрөт.

Мисал:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // ленив трансформация
val count = filtered.count() // аракет, эсептөөлөрдү баштайт

Мында filter дароо ишке ашпайт, ал гана count() чакырылганда ишке ашат.