Co jsou lazy výpočty v Spark?

V Apache Spark znamenají líné (lazy) výpočty, že operace nad daty se neprovedou ihned při jejich volání. Místo toho Spark sestaví plán výpočtů (DAG — Directed Acyclic Graph), který bude proveden až tehdy, když bude potřeba výsledek, například při volání akcí jako collect(), count(), save().

To umožňuje optimalizovat provádění tím, že sloučí několik transformací do jednoho kroku, minimalizuje čtení a zápis dat a efektivně rozděluje zátěž po clusterech.

Příklad:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // líná transformace
val count = filtered.count() // akce, která spustí výpočty

Zde se filter nespustí okamžitě, ale až při volání count().