Dolgozott már Airflow-val és írt DAGokat?

Igen, az Apache Airflow-val dolgoztam, és DAG-okat (Directed Acyclic Graph) írtam az adatok feldolgozási és gépi tanulási munkafolyamatok automatizálására és orchestrationjára.

Az Airflow-ban egy DAG leírja a feladatok sorrendjét és azok függőségeit. Minden feladat egy operátor, például PythonOperator a Python funkciók futtatására, BashOperator parancsok végrehajtására stb.

Egy egyszerű DAG példája, amely két feladatot hajt végre egymás után:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Feladat 1 befejeződött')

def task2():
    print('Feladat 2 befejeződött')

with DAG('pelda_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 függ a t1 sikeres végrehajtásától

Az Airflow használata lehetővé teszi összetett adatpipeline-ok ütemezését, monitorozását és kezelését, ami különösen hasznos ML projektekben az adatok előkészítésének, modellek tanításának és telepítésének automatizálására.