Sobes.tech
Middle

Ҳисобҳои хомӯш дар Spark чист?

sobes.tech AI

Ҷавоб аз AI

Дар Apache Spark, ҳисобҳои бефосила (lazy) маънои онро доранд, ки амалҳо дар бораи маълумотҳо фавран иҷро намешаванд. Ба ҷои ин, Spark нақшаи ҳисобро (DAG — Графи Ацикличии Дирижалӣ) месозад, ки танҳо вақте иҷро мешавад, ки натиҷа лозим аст — масалан, дар вақти даъвати амалҳо монанди collect(), count(), save().

Ин имкон медиҳад, ки иҷрои оптималӣ гардад, бо ҳамҷоя кардани чанд трансформация дар як марҳила, кам кардани хондан ва навиштани маълумот ва тақсимоти муассири борро дар кластерҳо.

Масалан:

val rdd = sc.textFile("data.txt")
val filtered = rdd.filter(line => line.contains("error")) // трансформацияи бефосила
val count = filtered.count() // амал, ки ҳисобҳоро оғоз мекунад

Ин ҷо, filter фавран иҷро намешавад, балки танҳо вақте ки count() даъват мешавад.