Wozu dienen Sensoren in Airflow?

Sensoren in Apache Airflow werden verwendet, um auf das Eintreten bestimmter Bedingungen oder Ereignisse zu warten, bevor die nächste Aufgabe in einem DAG gestartet wird. Sie ermöglichen es, die Abhängigkeit von Aufgaben nicht nur nach Zeitplan, sondern auch durch externe Faktoren zu organisieren, wie z.B. das Erscheinen einer Datei, das Beenden einer anderen Aufgabe außerhalb von Airflow oder die Verfügbarkeit einer Ressource.

Ein Beispiel für die Verwendung eines Sensors ist das Warten auf das Erscheinen einer Datei im Speicher, bevor die Datenverarbeitung beginnt:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # alle 30 Sekunden prüfen
    timeout=600       # maximal 10 Minuten warten
)

Auf diese Weise helfen Sensoren, Prozesse zu automatisieren und zu synchronisieren, indem sie die korrekte Reihenfolge der Aufgaben basierend auf externen Bedingungen sicherstellen.