Kas ir Apache Beam / Dataflow?

Apache Beam ir vienots programmēšanas modelis lielu datu apstrādei, kas ļauj rakstīt datu apstrādes caurules, kas darbojas gan partijās, gan straumēšanas režīmā. Tas abstrahē konkrētu datu apstrādes dzinēju detaļas.

Google Cloud Dataflow ir pārvaldīta pakalpojums, kas īsteno Apache Beam modeli, automātiski mērogo un optimizē datu apstrādes cauruļu izpildi mākonī.

Tādējādi, Apache Beam ir ietvars datu apstrādes uzdevumu aprakstīšanai, bet Dataflow ir pakalpojums to izpildei. Tas ļauj izstrādātājiem rakstīt vienu kodu, ko var palaist dažādās platformās bez izmaiņām.

Python piemērs Apache Beam lietošanai:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))