Čo je Apache Beam / Dataflow?

Apache Beam je jednotný programovací model pre spracovanie veľkých dát, ktorý umožňuje písanie dátových potrubí, ktoré fungujú ako v dávkovom, tak v streamovom režime. Abstrahuje detaily špecifických motorov spracovania dát.

Google Cloud Dataflow je spravovaná služba, ktorá implementuje model Apache Beam, automaticky škáluje a optimalizuje vykonávanie dátových potrubí v cloude.

Takže, Apache Beam je rámec na opis úloh spracovania dát, zatiaľ čo Dataflow je služba na ich vykonávanie. To umožňuje vývojárom písať jeden kód, ktorý možno spustiť na rôznych platformách bez zmien.

Príklad použitia Apache Beam v Pythone:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))