O que são cálculos preguiçosos no Spark?

No Apache Spark, os cálculos preguiçosos (lazy) significam que as operações sobre os dados não são executadas imediatamente ao serem chamadas. Em vez disso, o Spark constrói um plano de cálculo (DAG — Grafo Acíclico Dirigido), que só será executado quando o resultado for necessário, por exemplo, ao chamar ações como collect(), count(), save().

Isso permite otimizar a execução, combinando várias transformações numa única etapa, minimizando a leitura e escrita de dados, e distribuindo eficientemente a carga pelos clusters.

Exemplo:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // transformação preguiçosa
val count = filtered.count() // ação, que inicia os cálculos

Aqui, filter não é executado imediatamente, mas apenas ao chamar count().