Какво е Apache Beam / Dataflow?

Apache Beam е унифицирана модел за програмиране за обработка на големи данни, която позволява писане на конвейери за обработка на данни, работещи както в пакетен, така и в потоков режим. Тя абстрахира детайлите на конкретни двигатели за обработка на данни.

Google Cloud Dataflow е управлявана услуга, която реализира модела Apache Beam, автоматично мащабирайки и оптимизирайки изпълнението на конвейерите за обработка на данни в облака.

Така, Apache Beam е рамка за описание на задачи за обработка на данни, а Dataflow е услуга за тяхното изпълнение. Това позволява на разработчиците да пишат един код, който може да бъде изпълнен на различни платформи без промени.

Пример за използване на Apache Beam на Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))