Šta je Apache Beam / Dataflow?

Apache Beam je unifikovani model programiranja za obradu velikih podataka, koji omogućava pisanje cevovoda za obradu podataka koji rade i u režimu serije i u režimu struje. Apstrahuje detalje specifičnih motora za obradu podataka.

Google Cloud Dataflow je upravljana usluga koja implementira Apache Beam model, automatski skalira i optimizuje izvršenje cevovoda za obradu podataka u oblaku.

Dakle, Apache Beam je okvir za opisivanje zadataka obrade podataka, a Dataflow je usluga za njihovo izvršenje. Ovo omogućava programerima da napišu jedan kod koji se može pokrenuti na različitim platformama bez promena.

Primer korišćenja Apache Beam u Pythonu:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))