Airflow bilan ishladingizmi va DAGlarni yozdingizmi?

Ha, men Apache Airflow bilan ishlaganman va ma'lumotlarni qayta ishlash va mashina o'qitish sohasida ish jarayonlarini avtomatlashtirish va orkestratsiya qilish uchun DAG (Directed Acyclic Graph) yozganman.

Airflowda, DAG vazifalar ketma-ketligini va ularning bog'liqliklarini tavsiflaydi. Har bir vazifa operator bo'lib, masalan, PythonOperator Python funksiyalarini ishga tushirish uchun, BashOperator buyruqlarni bajarish uchun va boshqalar.

Ikki vazifani ketma-ket bajaradigan oddiy DAG misoli:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Vazifa 1 bajarildi')

def task2():
    print('Vazifa 2 bajarildi')

with DAG('misol_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2, t1 ning muvaffaqiyatli bajarilishiga bog'liq

Airflowdan foydalanish, murakkab ma'lumotlar pipeline'larini rejalashtirish, monitoring qilish va boshqarish imkonini beradi, bu ayniqsa ML loyihalarida ma'lumotlarni tayyorlash, modellarning o'qitilishi va joylashtirish bosqichlarini avtomatlashtirish uchun foydalidir.