Mis on Apache Beam / Dataflow?

Apache Beam on ühtne programmeerimismudel suure andmehulga töötlemiseks, mis võimaldab kirjutada andmetöötlusliine, mis töötavad nii partii- kui ka voogrežiimis. See abstraktsioonib spetsiifiliste töötlemismootorite üksikasju.

Google Cloud Dataflow on hallatav teenus, mis rakendab Apache Beam mudelit, automaatselt skaleerib ja optimeerib andmetöötlusliinide täitmist pilves.

Seega, Apache Beam on raamistik andmetöötlusülesannete kirjeldamiseks, samas kui Dataflow on teenus nende täitmiseks. See võimaldab arendajatel kirjutada ühe koodi, mida saab käivitada erinevatel platvormidel ilma muudatusteta.

Python näide Apache Beam kasutamisest:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))