Spark-də tembel hesablamalar nədir?

Apache Spark-da tənbəl (lazy) hesablamalar, verilənlər üzərindəki əməliyyatların çağırıldıqda dərhal yerinə yetirilmədiyini göstərir. Əvəzində, Spark hesablama planı (DAG — İstiqamətləndirilmiş Asiklik Qraf) qurur və bu plan yalnız nəticə lazım olduqda — məsələn, collect(), count(), save() kimi əməliyyatlar çağırıldıqda — yerinə yetirilir.

Bu, icraatı optimallaşdırmağa imkan verir, bir neçə transformasiyanı bir mərhələdə birləşdirir, məlumatların oxunması və yazılmasını minimuma endirir və yükü klasterlər arasında səmərəli paylayır.

Nümunə:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // tənbəl çevirmə
val count = filtered.count() // əməliyyat, hesablamaları başlatır

Burada filter dərhal yerinə yetirilmir, yalnız count() çağırıldıqda yerinə yetirilir.