Зашто су сензори у Airflow-у?

Senzori u Apache Airflow koriste se za čekanje da se ispune određeni uslovi ili događaji pre pokretanja sledeće zadatka u DAG-u. Oni omogućavaju organizovanje zavisnosti zadataka ne samo po rasporedu, već i na osnovu spoljašnjih faktora, poput pojave fajla, završetka drugog zadatka van Airflow-a ili dostupnosti resursa.

Primer korišćenja senzora je čekanje da se fajl pojavi u skladištu pre početka obrade podataka:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # proverava svakih 30 sekundi
    timeout=600       # maksimalno 10 minuta
)

Na ovaj način, senzori pomažu u automatizaciji i sinhronizaciji procesa, obezbeđujući ispravan redosled izvršavanja zadataka na osnovu spoljašnjih uslova.