La ce servesc senzorii în Airflow?

Senzorii în Apache Airflow sunt folosiți pentru a aștepta ca anumite condiții sau evenimente să se întâmple înainte de a porni următoarea sarcină din DAG. Ei permit organizarea dependenței sarcinilor nu doar după program, ci și în funcție de factori externi, cum ar fi apariția unui fișier, finalizarea unei alte sarcini în afara Airflow sau disponibilitatea unei resurse.

Un exemplu de utilizare a unui senzor este așteptarea apariției unui fișier în stocare înainte de a începe procesarea datelor:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # verifică la fiecare 30 de secunde
    timeout=600       # așteaptă maximum 10 minute
)

Astfel, senzorii ajută la automatizarea și sincronizarea proceselor, asigurând ordinea corectă de execuție a sarcinilor în funcție de condiții externe.