Mi az az Apache Beam / Dataflow?

Az Apache Beam egy egységes programozási modell a nagy adatok feldolgozására, amely lehetővé teszi adatfeldolgozó csövek írását, amelyek mind a kötegelt, mind az áramlási módban működnek. Elvonatkoztatja a konkrét feldolgozó motorok részleteit.

A Google Cloud Dataflow egy kezelt szolgáltatás, amely megvalósítja az Apache Beam modellt, automatikusan skálázza és optimalizálja az adatfeldolgozó csövek futtatását a felhőben.

Ezért az Apache Beam egy keretrendszer az adatfeldolgozási feladatok leírására, míg a Dataflow azok végrehajtására szolgáló szolgáltatás. Ez lehetővé teszi a fejlesztők számára, hogy egy kódot írjanak, amely különböző platformokon futtatható változtatások nélkül.

Példa az Apache Beam Pythonban való használatára:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))