Apache Beam / Dataflow эмне?

Apache Beam — бул чоң маалыматтарды иштетүү үчүн бирдиктүү программалоо модели, ал пакеттик жана агым режиминде иштеген маалыматтарды иштетүү түтүктөрүн жазууга мүмкүндүк берет. Ал конкреттүү иштетүү кыймылдаткычтарынын деталдарын абстракциялайт.

Google Cloud Dataflow — бул Apache Beam моделин ишке ашыруучү башкарылуучу кызмат, ал булутта маалыматтарды иштетүү түтүктөрүнүн аткарылышын автоматтык түрдө масштабдайт жана оптималдаштырат.

Ошентип, Apache Beam — бул маалыматтарды иштетүү тапшырмаларын сүрөттөө үчүн рамка, ал эми Dataflow — алардын аткарылышы үчүн кызмат. Бул иштеп чыгуучуларга бир код жазууга мүмкүндүк берет, ал ар кандай платформаларда өзгөртүүсүз ишке ашырылат.

Pythonда Apache Beam колдонуу мисалы:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))