Apache Beam / Dataflow nima?

Apache Beam — bu katta ma'lumotlarni qayta ishlash uchun yagona dasturlash modeli bo'lib, u partiyali va oqim rejimida ishlaydigan ma'lumotlarni qayta ishlash quvurlarini yozishga imkon beradi. U ma'lumotlarni qayta ishlash uchun maxsus dvigatellar tafsilotlarini abstraktsiyalashadi.

Google Cloud Dataflow — bu Apache Beam modelini amalga oshiradigan boshqariladigan xizmat bo'lib, u bulutda ma'lumotlarni qayta ishlash quvurlarining bajarilishini avtomatik ravishda kengaytiradi va optimallashtiradi.

Shunday qilib, Apache Beam — bu ma'lumotlarni qayta ishlash vazifalarini tavsiflash uchun ramka, Dataflow esa ularni bajarish uchun xizmat. Bu dasturchilarga bir kod yozishga imkon beradi, uni turli platformalarda o'zgartirishsiz ishga tushirish mumkin.

Python'da Apache Beam'dan foydalanish misoli:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))