Avez-vous travaillé avec Airflow et écrit des DAGs?

Oui, j’ai travaillé avec Apache Airflow et écrit des DAG (Directed Acyclic Graph) pour automatiser et orchestrer des flux de travail dans le domaine du traitement des données et de l’apprentissage automatique.

Dans Airflow, un DAG décrit une séquence de tâches et leurs dépendances. Chaque tâche est un opérateur, par exemple, PythonOperator pour exécuter des fonctions Python, BashOperator pour exécuter des commandes, etc.

Exemple d’un DAG simple qui exécute deux tâches en séquence:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def task1():
    print('Tâche 1 terminée')

def task2():
    print('Tâche 2 terminée')

with DAG('exemple_dag', start_date=datetime(2024, 1, 1), schedule_interval='@daily') as dag:
    t1 = PythonOperator(task_id='task1', python_callable=task1)
    t2 = PythonOperator(task_id='task2', python_callable=task2)

    t1 >> t2  # t2 dépend de la réussite de t1

L’utilisation d’Airflow permet de planifier, surveiller et gérer des pipelines de données complexes, ce qui est particulièrement utile dans les projets ML pour automatiser les étapes de préparation des données, de formation des modèles et de déploiement.