Milleks on Airflow'is sensoreid vaja?

Sensorid Apache Airflow's kasutatakse teatud tingimuste või sündmuste ootamiseks enne järgmise ülesande käivitamist DAG-is. Need võimaldavad organiseerida ülesannete sõltuvust mitte ainult ajakava järgi, vaid ka väliste tegurite alusel, näiteks faili ilmumine, teise ülesande lõpetamine väljaspool Airflow või ressursi kättesaadavus.

Näide sensorite kasutamisest — faili ilmumise ootamine salvestusruumis enne andmete töötlemise alustamist:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # kontrollib iga 30 sekundi järel
    timeout=600       # maksimaalselt 10 minutit ootamist
)

Sellisel viisil aitavad sensorid automatiseerida ja sünkroniseerida protsesse, tagades ülesannete õige järjekorra väliste tingimuste alusel.