À quoi servent les capteurs dans Airflow?

Les capteurs dans Apache Airflow sont utilisés pour attendre que certaines conditions ou événements se produisent avant de lancer la tâche suivante dans un DAG. Ils permettent d’organiser la dépendance des tâches non seulement selon un calendrier, mais aussi selon des facteurs externes, comme l’apparition d’un fichier, la fin d’une autre tâche en dehors d’Airflow ou la disponibilité d’une ressource.

Un exemple d’utilisation d’un capteur est d’attendre l’apparition d’un fichier dans le stockage avant de commencer le traitement des données :

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # vérifier toutes les 30 secondes
    timeout=600       # attendre au maximum 10 minutes
)

Ainsi, les capteurs aident à automatiser et synchroniser les processus, en assurant l’ordre correct d’exécution des tâches en fonction de conditions externes.