Работили ли сте с Airflow и писали ли сте DAGs?

Да, работил съм с Apache Airflow и съм писал DAG (Directed Acyclic Graph) за автоматизация и оркестрация на работни процеси в областта на обработката на данни и машинното обучение.

В Airflow, DAG описва последователността на задачите и техните зависимости. Всяка задача е оператор, например PythonOperator за изпълнение на Python функции, BashOperator за изпълнение на команди и т.н.

Пример за прост DAG, който изпълнява две задачи последователно:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Задача 1 завършена')

def task2():
    print('Задача 2 завършена')

with DAG('primer_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 зависи от успешно изпълнение на t1

Използването на Airflow позволява планиране, мониторинг и управление на сложни пайплайни с данни, което е особено полезно в ML проекти за автоматизация на етапите на подготовка на данни, обучение на модели и внедряване.