Airflowдеги сенсорлор эмне үчүн керек?

Apache Airflow'daki sensörler, DAG'daki bir sonraki görevi başlatmadan önce belirli koşulların veya olayların gerçekleşmesini beklemek için kullanılır. Bunlar, görevlerin bağımlılığını sadece takvime göre değil, aynı zamanda dış faktörlere göre de organize etmeye olanak tanır; örneğin, bir dosyanın ortaya çıkması, Airflow dışında başka bir görevin tamamlanması veya bir kaynağın erişilebilirliği gibi.

Sensörlerin kullanım örneği — veri işleme başlamadan önce depolama alanında bir dosyanın görünmesini beklemek:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # her 30 saniyede bir kontrol et
    timeout=600       # maksimum 10 dakika bekle
)

Bu şekilde, sensörler süreçleri otomatikleştirmeye ve senkronize etmeye yardımcı olur, dış koşullara bağlı olarak görevlerin doğru sırasını sağlar.