Spark'ta tembel hesaplamalar nedir?

Apache Spark'ta tembel (lazy) hesaplamalar, veriler üzerindeki işlemlerin çağrıldığında hemen yürütülmediği anlamına gelir. Bunun yerine, Spark bir hesaplama planı (DAG — Yönlendirilmiş Acyclic Graph) oluşturur ve bu plan, sadece sonuç gerektiğinde — örneğin collect(), count(), save() gibi işlemler çağrıldığında — yürütülür.

Bu, birkaç dönüşümün tek bir aşamada birleştirilmesini, veri okuma ve yazma işlemlerinin en aza indirilmesini ve yükün kümeler arasında verimli bir şekilde dağıtılmasını sağlayarak yürütmeyi optimize eder.

Örnek:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // tembel dönüşüm
val count = filtered.count() // işlem, hesaplamaları başlatır

Burada filter hemen yürütülmez, sadece count() çağrıldığında yürütülür.