Czym są opóźnione obliczenia w Spark?

W Apache Spark, opóźnione (lazy) obliczenia oznaczają, że operacje na danych nie są wykonywane od razu po ich wywołaniu. Zamiast tego Spark tworzy plan obliczeń (DAG — Directed Acyclic Graph), który zostanie wykonany dopiero wtedy, gdy będzie potrzebny wynik — na przykład przy wywołaniu akcji takich jak collect(), count(), save().

Pozwala to zoptymalizować wykonanie, łącząc kilka transformacji w jeden etap, minimalizując odczyt i zapis danych, a także efektywnie rozkładając obciążenie na klastry.

Przykład:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // opóźniona transformacja
val count = filtered.count() // akcja, uruchamia obliczenia

Tutaj filter nie jest wykonywane od razu, a tylko przy wywołaniu count().