Na co jsou senzory v Airflow?

Senzory v Apache Airflow se používají k čekání na splnění určitých podmínek nebo událostí před spuštěním následující úlohy v DAG. Umožňují organizovat závislosti úloh nejen podle plánu, ale také podle vnějších faktorů, například výskytu souboru, dokončení jiné úlohy mimo Airflow nebo dostupnosti zdroje.

Příklad použití senzoru je čekání na výskyt souboru v úložišti před zahájením zpracování dat:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # kontrola každých 30 sekund
    timeout=600       # maximálně 10 minut
)

Tímto senzory pomáhají automatizovat a synchronizovat procesy, zajišťují správné pořadí vykonávání úloh na základě vnějších podmínek.