Apache Beam / Dataflow чист?

Apache Beam เป็นโมเดลการเขียนโปรแกรมแบบรวมศูนย์สำหรับการประมวลผลข้อมูลขนาดใหญ่ ซึ่งช่วยให้สามารถเขียนสายการประมวลผลข้อมูลที่ทำงานได้ทั้งในโหมดแบทช์และสตรีม มันเป็นการสรุปรายละเอียดของเครื่องยนต์การประมวลผลข้อมูลเฉพาะ

Google Cloud Dataflow เป็นบริการที่จัดการซึ่งดำเนินการตามโมเดล Apache Beam ซึ่งปรับขนาดและปรับปรุงประสิทธิภาพของสายการประมวลผลข้อมูลในคลาวด์โดยอัตโนมัติ

ดังนั้น Apache Beam เป็นกรอบงานสำหรับอธิบายงานการประมวลผลข้อมูล และ Dataflow เป็นบริการสำหรับดำเนินการงานเหล่านั้น ซึ่งช่วยให้นักพัฒนาสามารถเขียนโค้ดเดียวที่สามารถรันบนแพลตฟอร์มต่าง ๆ ได้โดยไม่ต้องเปลี่ยนแปลง

ตัวอย่างการใช้งาน Apache Beam ใน Python:

import apache_beam as beam

with beam.Pipeline() as pipeline:
    (pipeline
     | 'Read' >> beam.io.ReadFromText('input.txt')
     | 'Filter' >> beam.Filter(lambda x: 'error' in x)
     | 'Write' >> beam.io.WriteToText('output.txt'))