Mire valók az érzékelők az Airflow-ban?

Az Apache Airflow érzékelői olyan feltételek vagy események bekövetkeztét várják, mielőtt a következő feladatot elindítanák egy DAG-ban. Lehetővé teszik a feladatfüggőségek szervezését nemcsak ütemezés szerint, hanem külső tényezők alapján is, például egy fájl megjelenése, egy másik feladat befejezése az Airflow-n kívül vagy egy erőforrás elérhetősége esetén.

Egy érzékelő használatának példája, hogy egy fájl megjelenését várjuk a tárolóban, mielőtt elkezdenénk az adatok feldolgozását:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # 30 másodpercenként ellenőriz
    timeout=600       # maximum 10 percet vár
)

Így az érzékelők segítenek automatizálni és szinkronizálni a folyamatokat, biztosítva a feladatok helyes sorrendjét külső feltételek alapján.