Kas yra DAG Airflow?

„Directed Acyclic Graph“ (DAG) Apache Airflow yra struktūra, kuri aprašo užduočių (tasks) seką ir jų priklausomybes kryptiniuose, ciklais nesikartojančiuose grafuose.

Kiekvienas grafiko viršūnė atitinka užduotį, o briaunos rodo vykdymo tvarką: užduotis B gali prasidėti tik po sėkmingo užduoties A užbaigimo, jei tarp jų yra briauna iš A į B.

Pagrindinės DAG savybės Airflow:

• Kryptinis — užduotys vyksta tam tikra kryptimi, atspindėdamos duomenų arba procesų srautą.
• Ciklinis — nėra ciklų, siekiant išvengti begalinių pakartojimų.

Pavyzdys paprasto DAG Python kalba Airflow:

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

default_args = {'start_date': datetime(2024, 1, 1)}

dag = DAG('pavyzdinis_dag', default_args=default_args, schedule_interval='@daily')

# Užduočių apibrėžimas
start = BashOperator(task_id='start', bash_command='echo Start', dag=dag)
process = BashOperator(task_id='process', bash_command='echo Processing', dag=dag)
end = BashOperator(task_id='end', bash_command='echo End', dag=dag)

# Priklausomybių apibrėžimas
start >> process >> end

Taip DAG Airflow leidžia aprašyti ir automatizuoti sudėtingus darbo procesus su aiškiai nustatyta vykdymo tvarka.