Pracovali ste s Airflow a písali DAGy?

Da, pracoval som s Apache Airflow a písal som DAG (Directed Acyclic Graph) na automatizáciu a orchestráciu pracovných tokov v oblasti spracovania dát a strojového učenia.

V Airflow, DAG opisuje sekvenciu úloh a ich závislosti. Každá úloha je operátor, napríklad PythonOperator na spustenie Python funkcií, BashOperator na vykonanie príkazov atď.

Príklad jednoduchého DAG, ktorý spúšťa dve úlohy po sebe:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Úloha 1 dokončená')

def task2():
    print('Úloha 2 dokončená')

with DAG('príklad_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 závisí od úspešného dokončenia t1

Použitie Airflow umožňuje plánovať, monitorovať a riadiť zložité dátové pipeline, čo je obzvlášť užitočné v ML projektoch na automatizáciu fáz prípravy dát, tréningu modelov a nasadenia.