Cosa sono i calcoli lazy in Spark?

In Apache Spark, i calcoli pigri (lazy) significano che le operazioni sui dati non vengono eseguite immediatamente al loro chiamata. Invece, Spark costruisce un piano di calcolo (DAG — Grafo Diretto Aciclico), che verrà eseguito solo quando il risultato sarà necessario, ad esempio, chiamando azioni come collect(), count(), save().

Questo permette di ottimizzare l'esecuzione combinando più trasformazioni in un'unica fase, minimizzando la lettura e la scrittura dei dati, e distribuendo efficacemente il carico sui cluster.

Esempio:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // trasformazione pigra
val count = filtered.count() // azione, avvia i calcoli

Qui, filter non viene eseguito immediatamente, ma solo quando si chiama count().