Airflow ile çalıştınız mı ve DAG'ler yazdınız mı?

Evet, Apache Airflow ile çalıştım ve veri işleme ve makine öğrenimi alanında iş akışlarını otomatikleştirmek ve düzenlemek için DAG (Directed Acyclic Graph) yazdım.

Airflow'da, bir DAG görevlerin sırasını ve bağımlılıklarını tanımlar. Her görev bir operatördür, örneğin, PythonOperator Python fonksiyonlarını çalıştırmak için, BashOperator komutları yürütmek için vb.

İki görevi ardışık olarak çalıştıran basit bir DAG örneği:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Görev 1 tamamlandı')

def task2():
    print('Görev 2 tamamlandı')

with DAG('ornek_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2, t1'in başarılı bir şekilde tamamlanmasına bağlıdır

Airflow kullanımı, karmaşık veri boru hatlarını planlamaya, izlemeye ve yönetmeye olanak tanır, bu da özellikle ML projelerinde veri hazırlama, model eğitimi ve dağıtım aşamalarını otomatikleştirmek için faydalıdır.