Ինչ է Apache Beam / Dataflow?-ը

Apache Beam-ը միացյալ ծրագրավորման մոդել է մեծ տվյալների մշակման համար, որը թույլ է տալիս գրել տվյալների մշակման գծեր, որոնք աշխատում են ինչպես բեռնային, այնպես էլ հոսքային ռեժիմում: Այն ամփոփում է տվյալների մշակման հատուկ շարժիչների մանրամասները:

Google Cloud Dataflow-ը կառավարվող ծառայություն է, որը իրականացնում է Apache Beam մոդելը, ավտոմատ կերպով ընդլայնելով և օպտիմալացնելով տվյալների մշակման գծերի կատարումը ամպում:

Այսպիսով, Apache Beam-ը տվյալների մշակման խնդիրների նկարագրության շրջանակ է, իսկ Dataflow-ը դրանց կատարելու ծառայություն: Սա թույլ է տալիս ծրագրավորողներին գրել մեկ կոդ, որը կարող է գործարկել տարբեր հարթակներում առանց փոփոխությունների:

Օրինակ՝ Python-ում Apache Beam-ի օգտագործման օրինակ:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))