Para que servem os sensores no Airflow?

Os sensores no Apache Airflow são usados para aguardar que certas condições ou eventos ocorram antes de iniciar a próxima tarefa em um DAG. Eles permitem organizar a dependência das tarefas não apenas por cronograma, mas também por fatores externos, como a aparição de um arquivo, a conclusão de outra tarefa fora do Airflow ou a disponibilidade de um recurso.

Um exemplo de uso de um sensor é aguardar a aparição de um arquivo no armazenamento antes de iniciar o processamento de dados:

from airflow.sensors.filesystem import FileSensor

file_sensor = FileSensor(
    task_id='wait_for_file',
    filepath='/data/input/file.csv',
    poke_interval=30,  # verificar a cada 30 segundos
    timeout=600       # esperar no máximo 10 minutos
)

Dessa forma, os sensores ajudam a automatizar e sincronizar processos, garantindo a ordem correta de execução das tarefas com base em condições externas.