Was ist Apache Beam / Dataflow?

Apache Beam ist ein einheitliches Programmiermodell für die Verarbeitung großer Datenmengen, das das Schreiben von Datenverarbeitungspipelines ermöglicht, die sowohl im Batch- als auch im Streaming-Modus funktionieren. Es abstrahiert die Details spezifischer Verarbeitungsmotoren.

Google Cloud Dataflow ist ein verwalteter Dienst, der das Apache Beam-Modell implementiert und die Ausführung von Datenverarbeitungspipelines in der Cloud automatisch skaliert und optimiert.

Daher ist Apache Beam ein Framework zur Beschreibung von Datenverarbeitungsaufgaben, während Dataflow ein Dienst zu deren Ausführung ist. Dies ermöglicht es Entwicklern, einen einzigen Code zu schreiben, der auf verschiedenen Plattformen ohne Änderungen ausgeführt werden kann.

Beispiel für die Verwendung von Apache Beam in Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))