Waarvoor dienen sensoren in Airflow?

De sensoren in Apache Airflow worden gebruikt om te wachten tot bepaalde voorwaarden of gebeurtenissen plaatsvinden voordat de volgende taak in een DAG wordt gestart. Ze maken het mogelijk om de afhankelijkheid van taken niet alleen op schema te organiseren, maar ook op basis van externe factoren, zoals het verschijnen van een bestand, het voltooien van een andere taak buiten Airflow of de beschikbaarheid van een resource.

Een voorbeeld van het gebruik van een sensor is wachten tot een bestand verschijnt in de opslag voordat je begint met het verwerken van gegevens:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # elke 30 seconden controleren
    timeout=600       # maximaal 10 minuten wachten
)

Op deze manier helpen sensoren om processen te automatiseren en te synchroniseren, en zorgen ze voor de juiste volgorde van taken op basis van externe voorwaarden.