Apache Beam / Dataflow nedir?

Apache Beam, büyük veri işleme için birleşik bir programlama modelidir ve hem toplu hem de akış modunda çalışan veri işleme hatları yazmayı sağlar. Belirli veri işleme motorlarının ayrıntılarını soyutlar.

Google Cloud Dataflow, Apache Beam modelini uygulayan yönetilen bir hizmettir ve bulutta veri işleme hatlarının yürütülmesini otomatik olarak ölçeklendirir ve optimize eder.

Bu nedenle, Apache Beam veri işleme görevlerini tanımlamak için bir çerçevedir ve Dataflow bunların yürütülmesi için bir hizmettir. Bu, geliştiricilerin değişiklik yapmadan farklı platformlarda çalıştırılabilecek tek bir kod yazmasını sağlar.

Python'da Apache Beam kullanımı örneği:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))