Was ist DAG in Airflow?

Ein DAG (Directed Acyclic Graph) in Apache Airflow ist eine Struktur, die die Abfolge von Aufgaben (Tasks) und deren Abhängigkeiten in Form eines gerichteten azyklischen Graphen beschreibt.

Jeder Knoten im Graphen ist eine Aufgabe, und die Kanten zeigen die Ausführungsreihenfolge: Aufgabe B kann nur beginnen, nachdem Aufgabe A erfolgreich abgeschlossen wurde, wenn eine Kante von A nach B besteht.

Hauptmerkmale des DAG in Airflow:

• Gerichtet — Aufgaben verlaufen in eine bestimmte Richtung, die den Daten- oder Prozessfluss widerspiegelt.
• Azyklisch — es gibt keine Zyklen, um endlose Wiederholungen zu vermeiden.

Beispiel für einen einfachen DAG in Python in Airflow:

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

default_args = {'start_date': datetime(2024, 1, 1)}

dag = DAG('beispiel_dag', default_args=default_args, schedule_interval='@daily')

# Aufgaben definieren
start = BashOperator(task_id='start', bash_command='echo Start', dag=dag)
process = BashOperator(task_id='process', bash_command='echo Processing', dag=dag)
end = BashOperator(task_id='end', bash_command='echo End', dag=dag)

# Abhängigkeiten definieren
start >> process >> end

Auf diese Weise ist der DAG in Airflow eine Methode, um komplexe Arbeitsprozesse zu beschreiben und zu automatisieren, mit einer klar festgelegten Reihenfolge der Ausführung.