¿Qué son los cálculos perezosos en Spark?

En Apache Spark, los cálculos perezosos (lazy) significan que las operaciones sobre los datos no se ejecutan inmediatamente al ser llamadas. En su lugar, Spark construye un plan de cálculo (DAG — Grafo Acíclico Dirigido), que solo se ejecutará cuando se requiera el resultado, por ejemplo, al llamar a acciones como collect(), count(), save().

Esto permite optimizar la ejecución, combinando varias transformaciones en una sola etapa, minimizando la lectura y escritura de datos, y distribuyendo eficientemente la carga en los clústeres.

Ejemplo:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // transformación perezosa
val count = filtered.count() // acción, que inicia los cálculos

Aquí, filter no se ejecuta de inmediato, sino solo cuando se llama a count().