Ի՞նչ են lazy հաշվարկները Spark-ում։

Apache Spark-ում տաղանդավոր (lazy) հաշվարկները նշանակում են, որ տվյալների վրա գործողությունները չեն կատարվում անմիջապես նրանց կանչելու ժամանակ: Փոխարենը, Spark-ը կառուցում է հաշվարկի պլան (DAG — ուղղորդված անտիկ գրաֆ), որը կիրականացվի միայն այն ժամանակ, երբ արդյունքը անհրաժեշտ լինի, օրինակ՝ collect(), count(), save() գործողությունների ժամանակ:

Այսպիսով, հնարավոր է օպտիմալացնել կատարմանը՝ մի քանի փոխակերպում միացնելով մեկ փուլում, նվազեցնելով տվյալների ընթերցումը և գրառումը, ինչպես նաև արդյունավետորեն բաշխելով բեռը կլաստերների միջև:

Օրինակ՝

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // տաղանդավոր փոխակերպում
val count = filtered.count() // գործողություն, որը սկսում է հաշվարկները

Այստեղ filter-ը չի կատարվում անմիջապես, այլ միայն count()-ը կանչելու ժամանակ։