¿Qué es Apache Beam / Dataflow?

Apache Beam es un modelo de programación unificado para el procesamiento de grandes datos, que permite escribir tuberías de procesamiento de datos que funcionan tanto en modo por lotes como en modo de flujo. Abstrae los detalles de los motores de procesamiento de datos específicos.

Google Cloud Dataflow es un servicio gestionado que implementa el modelo Apache Beam, que escala y optimiza automáticamente la ejecución de las tuberías de procesamiento de datos en la nube.

Por lo tanto, Apache Beam es un marco para describir tareas de procesamiento de datos, y Dataflow es un servicio para ejecutarlas. Esto permite a los desarrolladores escribir un solo código que se puede ejecutar en diferentes plataformas sin cambios.

Ejemplo de uso de Apache Beam en Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))