Čo sú lazy výpočty v Spark?

V Apache Spark znamenajú lenivé (lazy) výpočty, že operácie nad dátami sa ne vykonávajú okamžite pri ich volaní. Namiesto toho Spark vytvára plán výpočtov (DAG — Directed Acyclic Graph), ktorý bude vykonaný až keď bude potrebný výsledok, napríklad pri volaní akcií ako collect(), count(), save().

Toto umožňuje optimalizovať vykonávanie tým, že spojí niekoľko transformácií do jedného kroku, minimalizuje čítanie a zápis dát a efektívne rozdeľuje záťaž po klastroch.

Príklad:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // lenivá transformácia
val count = filtered.count() // akcia, ktorá spustí výpočty

Tu sa filter nespustí okamžite, ale až pri volaní count().