Kas yra Apache Beam / Dataflow?

Apache Beam yra vieningas programavimo modelis didelių duomenų apdorojimui, leidžiantis rašyti duomenų apdorojimo vamzdynus, veikiančius tiek partijos, tiek srauto režimu. Jis abstrakčiuoja konkrečių duomenų apdorojimo variklių detales.

Google Cloud Dataflow yra valdomas paslaugas, įgyvendinantis Apache Beam modelį, kuris automatiškai masto ir optimizuoja duomenų apdorojimo vamzdynų vykdymą debesyje.

Taigi, Apache Beam yra struktūra duomenų apdorojimo užduočių aprašymui, o Dataflow yra paslauga jų vykdymui. Tai leidžia kūrėjams rašyti vieną kodą, kurį galima paleisti skirtingose platformose be pakeitimų.

Python pavyzdys, kaip naudoti Apache Beam:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))