Airflow-də sensorlar nə üçündür?

Apache Airflow-da sensorlar müəyyən şərtlər və ya hadisələrin baş verməsini gözləmək üçün istifadə olunur, növbəti tapşırığı başlatmadan əvvəl. Onlar tapşırıqların asılılığını yalnız cədvələ görə deyil, həm də xarici amillərə əsasən təşkil etməyə imkan verir, məsələn, faylın yaranması, Airflow xaricində başqa bir tapşırığın tamamlanması və ya resursun əlçatanlığı.

Sensorların istifadə nümunəsi — məlumatların emalına başlamadan əvvəl saxlama yerində faylın yaranmasını gözləmək:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # hər 30 saniyədə yoxla
    timeout=600       # maksimum 10 dəqiqə gözlə
)

Bu şəkildə, sensorlar prosesləri avtomatlaşdırmağa və sinxronizasiya etməyə kömək edir, xarici şərtlərə əsasən tapşırıqların düzgün ardıcıllığını təmin edir.