Co je Apache Beam / Dataflow?

Apache Beam je jednotný programovací model pro zpracování velkých dat, který umožňuje psaní datových potrubí fungujících jak v dávkovém, tak v streamovacím režimu. Abstrahuje detaily konkrétních motorů zpracování dat.

Google Cloud Dataflow je spravovaná služba, která implementuje model Apache Beam, automaticky škáluje a optimalizuje provádění datových potrubí v cloudu.

Tedy, Apache Beam je rámec pro popis úloh zpracování dat, zatímco Dataflow je služba pro jejich vykonávání. To umožňuje vývojářům psát jeden kód, který lze spustit na různých platformách bez změn.

Příklad použití Apache Beam v Pythonu:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))