Что такое Apache Beam / Dataflow?

Apache Beam — это унифицированная модель программирования для обработки больших данных, которая позволяет писать конвейеры обработки данных, работающие как в пакетном, так и в потоковом режиме. Она абстрагирует детали конкретных движков обработки данных.

Google Cloud Dataflow — это управляемый сервис, реализующий модель Apache Beam, который автоматически масштабирует и оптимизирует выполнение конвейеров обработки данных в облаке.

Таким образом, Apache Beam — это фреймворк для описания задач обработки данных, а Dataflow — сервис для их выполнения. Это позволяет разработчикам писать один код, который можно запускать на разных платформах без изменений.

Пример использования Apache Beam на Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))