O que é Apache Beam / Dataflow?

O Apache Beam é um modelo de programação unificado para processamento de grandes dados, que permite escrever pipelines de processamento de dados que funcionam tanto em modo batch quanto em modo streaming. Ele abstrai os detalhes de motores de processamento de dados específicos.

O Google Cloud Dataflow é um serviço gerido que implementa o modelo Apache Beam, escalando e otimizando automaticamente a execução de pipelines de processamento de dados na nuvem.

Assim, o Apache Beam é uma estrutura para descrever tarefas de processamento de dados, e o Dataflow é um serviço para executá-las. Isso permite aos desenvolvedores escrever um único código que pode ser executado em diferentes plataformas sem alterações.

Exemplo de uso do Apache Beam em Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))