Czy pracowałeś z Airflow i pisałeś DAGi?

Tak, pracowałem z Apache Airflow i pisałem DAG (Directed Acyclic Graph) do automatyzacji i orkiestracji przepływów pracy w dziedzinie przetwarzania danych i uczenia maszynowego.

W Airflow, DAG opisuje sekwencję zadań i ich zależności. Każde zadanie to operator, na przykład PythonOperator do uruchamiania funkcji Pythona, BashOperator do wykonywania poleceń itp.

Przykład prostego DAG, który uruchamia dwa zadania kolejno:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Zadanie 1 ukończone')

def task2():
    print('Zadanie 2 ukończone')

with DAG('przyklad_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 zależy od pomyślnego wykonania t1

Użycie Airflow pozwala planować, monitorować i zarządzać złożonymi pipeline'ami danych, co jest szczególnie przydatne w projektach ML do automatyzacji etapów przygotowania danych, trenowania modeli i wdrożeń.