Do czego służą czujniki w Airflow?

Sensory w Apache Airflow służą do oczekiwania na spełnienie określonych warunków lub zdarzeń przed uruchomieniem kolejnego zadania w DAG. Umożliwiają one organizację zależności zadań nie tylko według harmonogramu, ale także na podstawie czynników zewnętrznych, takich jak pojawienie się pliku, zakończenie innego zadania poza Airflow lub dostępność zasobu.

Przykład użycia sensora — oczekiwanie na pojawienie się pliku w magazynie przed rozpoczęciem przetwarzania danych:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # sprawdzaj co 30 sekund
    timeout=600       # maksymalnie 10 minut
)

W ten sposób sensory pomagają automatyzować i synchronizować procesy, zapewniając poprawną kolejność wykonywania zadań w zależności od warunków zewnętrznych.