A cosa servono i sensori in Airflow?

I sensori in Apache Airflow vengono utilizzati per attendere che si verifichino determinate condizioni o eventi prima di avviare il task successivo in un DAG. Permettono di organizzare la dipendenza tra i task non solo secondo un programma, ma anche in base a fattori esterni, come la comparsa di un file, il completamento di un altro task fuori da Airflow o la disponibilità di una risorsa.

Un esempio di utilizzo di un sensore è attendere la comparsa di un file nel storage prima di iniziare l'elaborazione dei dati:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # controlla ogni 30 secondi
    timeout=600       # massimo 10 minuti
)

In questo modo, i sensori aiutano ad automatizzare e sincronizzare i processi, garantendo l'ordine corretto di esecuzione dei task in base a condizioni esterne.