За какво служат сензорите в Airflow?

Сензорите в Apache Airflow се използват за изчакване на изпълнението на определени условия или събития преди да стартират следващата задача в DAG. Те позволяват организиране на зависимостта между задачите не само по график, но и въз основа на външни фактори, като появата на файл, завършването на друга задача извън Airflow или наличността на ресурс.

Пример за използване на сензор е изчакване на появата на файл в хранилището преди да започне обработката на данните:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # проверява на всеки 30 секунди
    timeout=600       # максимум 10 минути
)

По този начин сензорите помагат за автоматизиране и синхронизиране на процесите, осигурявайки правилния ред на изпълнение на задачите въз основа на външни условия.