Was sind Lazy-Berechnungen in Spark?

In Apache Spark bedeuten Lazy-Berechnungen, dass Operationen an Daten nicht sofort bei ihrem Aufruf ausgeführt werden. Stattdessen erstellt Spark einen Berechnungsplan (DAG — Directed Acyclic Graph), der erst ausgeführt wird, wenn das Ergebnis benötigt wird, z.B. beim Aufruf von Aktionen wie collect(), count(), save().

Dies ermöglicht eine Optimierung der Ausführung, indem mehrere Transformationen zu einem Schritt zusammengefasst, das Lesen und Schreiben von Daten minimiert und die Last effizient auf Cluster verteilt wird.

Beispiel:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // Lazy-Transformation
val count = filtered.count() // Aktion, die die Berechnungen startet

Hier wird filter nicht sofort ausgeführt, sondern erst beim Aufruf von count().