Airflow'da sensörler ne işe yarar?

Apache Airflow'daki sensörler, DAG'daki bir sonraki görevi başlatmadan önce belirli koşulların veya olayların gerçekleşmesini beklemek için kullanılır. Görevlerin bağımlılığını sadece zamanlamaya göre değil, aynı zamanda dış faktörlere göre de organize etmeye olanak tanır; örneğin, bir dosyanın ortaya çıkması, Airflow dışında başka bir görevin tamamlanması veya bir kaynağın erişilebilirliği gibi.

Bir sensör kullanım örneği, veri işleme başlamadan önce depolama alanında bir dosyanın görünmesini beklemektir:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # her 30 saniyede bir kontrol et
    timeout=600       # en fazla 10 dakika bekle
)

Bu şekilde, sensörler süreçleri otomatikleştirmeye ve senkronize etmeye yardımcı olur, dış koşullara bağlı olarak görevlerin doğru sırasını sağlar.