Apache Beam / Dataflow nədir?

Apache Beam — bu böyük məlumatların emalı üçün vahid proqramlaşdırma modelidir və həm toplu, həm də axın rejimində işləyən məlumat emalı borularını yazmağa imkan verir. O, xüsusi məlumat emalı mühərriklərinin detalları ilə işləmədən onları soyutlayır.

Google Cloud Dataflow — bu, Apache Beam modelini həyata keçirən idarə olunan xidmətdir və buludda məlumat emalı borularının icrasını avtomatik olaraq miqyaslandırır və optimallaşdırır.

Beləliklə, Apache Beam məlumat emalı tapşırıqlarını təsvir etmək üçün çərçivədir və Dataflow onları yerinə yetirmək üçün xidmətdir. Bu, inkişaf etdiricilərə dəyişiklik etmədən müxtəlif platformalarda işlədə biləcək tək kod yazmağa imkan verir.

Python-da Apache Beam istifadə nümunəsi:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))