Na čo sú v Airflow senzory?

Senzory v Apache Airflow sa používajú na čakanie na splnenie určitých podmienok alebo udalostí pred spustením nasledujúcej úlohy v DAG. Umožňujú organizovať závislosti úloh nielen podľa plánu, ale aj na základe vonkajších faktorov, ako je objavenie súboru, dokončenie inej úlohy mimo Airflow alebo dostupnosť zdroja.

Príklad použitia senzora je čakanie na objavenie súboru v úložisku pred začatím spracovania dát:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # kontrola každých 30 sekúnd
    timeout=600       # maximálne 10 minút
)

Týmto senzory pomáhajú automatizovať a synchronizovať procesy, zabezpečujúci správne poradie vykonávania úloh na základe vonkajších podmienok.