Τι είναι οι αργές υπολογισμοί στο Spark;

Στο Apache Spark, οι τεμπέλικοι (lazy) υπολογισμοί σημαίνουν ότι οι λειτουργίες πάνω στα δεδομένα δεν εκτελούνται αμέσως κατά την κλήση τους. Αντίθετα, το Spark κατασκευάζει ένα σχέδιο υπολογισμού (DAG — Directed Acyclic Graph), το οποίο θα εκτελεστεί μόνο όταν χρειάζεται το αποτέλεσμα, π.χ., κατά την κλήση ενεργειών όπως collect(), count(), save().

Αυτό επιτρέπει την βελτιστοποίηση της εκτέλεσης, συνδυάζοντας πολλαπλές μετασχηματισμούς σε ένα στάδιο, ελαχιστοποιώντας την ανάγνωση και εγγραφή δεδομένων, και διανέμοντας αποτελεσματικά το φορτίο στα κλάστερ.

Παράδειγμα:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // τεμπέλικη μετατροπή
val count = filtered.count() // ενέργεια, που ξεκινά τους υπολογισμούς

Εδώ, το filter δεν εκτελείται αμέσως, αλλά μόνο όταν καλείται το count().