Ar dirbote su Airflow ir rašėte DAGs?

Taip, dirbau su Apache Airflow ir rašiau DAG (Directed Acyclic Graph) darbo eigų automatizavimui ir orkestravimui duomenų apdorojimo ir mašininio mokymosi srityje.

Airflow'e DAG aprašo užduočių seką ir jų priklausomybes. Kiekviena užduotis yra operatorius, pavyzdžiui, PythonOperator, skirtas vykdyti Python funkcijas, BashOperator, skirtas vykdyti komandas ir kt.

Pavyzdys paprasto DAG, kuris vykdo dvi užduotis paeiliui:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Užduotis 1 baigta')

def task2():
    print('Užduotis 2 baigta')

with DAG('pavyzdys_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 priklauso nuo sėkmingo t1 įvykdymo

Airflow naudojimas leidžia planuoti, stebėti ir valdyti sudėtingus duomenų pipeline'us, kas ypač naudinga ML projektuose automatizuojant duomenų paruošimo, modelių mokymo ir diegimo etapus.