Работали ли вы с Airflow и писали DAGи?

Да, я работал с Apache Airflow и писал DAG (Directed Acyclic Graph) для автоматизации и оркестрации рабочих процессов в области обработки данных и машинного обучения.

В Airflow DAG описывает последовательность задач и их зависимости. Каждая задача — это оператор (Operator), например, PythonOperator для запуска Python-функций, BashOperator для выполнения команд и т.д.

Пример простого DAG, который запускает две задачи последовательно:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Задача 1 выполнена')

def task2():
    print('Задача 2 выполнена')

with DAG('example_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 зависит от успешного выполнения t1

Использование Airflow позволяет планировать, мониторить и управлять сложными пайплайнами данных, что особенно полезно в ML-проектах для автоматизации этапов подготовки данных, обучения моделей и деплоя.