რა არის Apache Beam / Dataflow?

Apache Beam — ეს ერთიანი პროგრამირების მოდელია დიდი მონაცემების დამუშავებისთვის, რომელიც საშუალებას აძლევს დაწეროთ მონაცემთა დამუშავების მილები, რომლებიც მუშაობენ როგორც ბეტა, ასევე ნაკად რეჟიმში. ის აბსტრაქცირებს კონკრეტული დამუშავების ძრავების დეტალებს.

Google Cloud Dataflow — ეს არის მართვადი სერვისი, რომელიც ახორციელებს Apache Beam მოდელს, ავტომატურად მასშტაბირებს და ოპტიმიზირებს მონაცემთა დამუშავების მილების შესრულებას ღრუბელში.

ამიტომ, Apache Beam არის ჩარჩო მონაცემთა დამუშავების დავალებების აღწერისთვის, ხოლო Dataflow — მათი შესრულებისთვის. ეს საშუალებას აძლევს დეველოპერებს დაწერონ ერთი კოდი, რომელიც შეიძლება შესრულდეს სხვადასხვა პლატფორმებზე ცვლილებების გარეშე.

Python-ში Apache Beam-ის გამოყენების მაგალითი:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))