Kam skirti jutikliai Airflow?

„Apache Airflow“ jutikliai naudojami laukiant tam tikrų sąlygų ar įvykių, prieš pradedant kitą užduotį DAG. Jie leidžia organizuoti užduočių priklausomybę ne tik pagal grafiką, bet ir pagal išorinius veiksnius, pavyzdžiui, failo atsiradimą, kitos užduoties užbaigimą už Airflow ribų arba ištekliaus prieinamumą.

Pavyzdys, kaip naudoti jutiklį — laukti, kol atsiras failas saugykloje, prieš pradedant duomenų apdorojimą:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # tikrinti kas 30 sekundžių
    timeout=600       # maksimalus laukimo laikas 10 minučių
)

Taip jutikliai padeda automatizuoti ir sinchronizuoti procesus, užtikrindami teisingą užduočių vykdymo tvarką pagal išorinius sąlyginius veiksnius.