Wat is Apache Beam / Dataflow?

Apache Beam is een uniform programmeermodel voor het verwerken van grote gegevens, waarmee gegevensverwerkingspijplijnen kunnen worden geschreven die zowel in batch- als in stroommodus werken. Het abstraheert de details van specifieke verwerkingsmotoren.

Google Cloud Dataflow is een beheerde service die het Apache Beam-model implementeert, dat automatisch schaalt en optimaliseert voor het uitvoeren van gegevensverwerkingspijplijnen in de cloud.

Dus, Apache Beam is een raamwerk voor het beschrijven van gegevensverwerkingstaken, en Dataflow is een service voor het uitvoeren ervan. Dit stelt ontwikkelaars in staat om één code te schrijven die op verschillende platforms zonder wijzigingen kan worden uitgevoerd.

Voorbeeld van het gebruik van Apache Beam in Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))