Pracoval jste s Airflow a psal DAGy?

Ano, pracoval jsem s Apache Airflow a psal DAG (Directed Acyclic Graph) pro automatizaci a orchestraci pracovních toků v oblasti zpracování dat a strojového učení.

V Airflow DAG popisuje sekvenci úkolů a jejich závislosti. Každý úkol je operátor, například PythonOperator pro spuštění Python funkcí, BashOperator pro vykonávání příkazů atd.

Příklad jednoduchého DAG, který spouští dva úkoly po sobě:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Úkol 1 dokončen')

def task2():
    print('Úkol 2 dokončen')

with DAG('priklad_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 závisí na úspěšném dokončení t1

Použití Airflow umožňuje plánovat, monitorovat a řídit složité datové pipeline, což je obzvlášť užitečné v ML projektech pro automatizaci fází přípravy dat, tréninku modelů a nasazení.