Czym jest Apache Airflow?

Airflow to platforma open-source do programowego tworzenia, planowania i monitorowania przepływów pracy (workflows). Umożliwia definiowanie zadań i ich zależności w kodzie Python, wizualizację ich grafu (DAG), uruchamianie zadań według harmonogramu lub wyzwalaczy, a także monitorowanie ich wykonania przez interfejs webowy.

Główne komponenty Airflow:

• Scheduler: Uruchamia zaplanowane przepływy pracy.
• Webserver: Zapewnia interfejs użytkownika do zarządzania i monitorowania.
• Worker(y): Wykonują zadania (zależnie od Executor).
• Database: Przechowuje stan przepływów pracy, zadań, konfiguracji i historię.

DAG (Directed Acyclic Graph) to główna koncepcja Airflow. DAG reprezentuje zbiór zadań (operatorów), połączonych zależnościami w formie skierowanego grafu bez cykli.

Przykłady operatorów:

• BashOperator: Wykonuje polecenia bash.
• PythonOperator: Wykonuje funkcje Python.
• PostgresOperator: Wykonuje zapytania SQL w PostgreSQL.

Architektura rozproszona pozwala na skalowanie Airflow, korzystając z różnych executorów:

• SequentialExecutor: Do testów, wykonuje zadania kolejno.
• LocalExecutor: Uruchamia zadania równolegle na jednej maszynie.
• CeleryExecutor: Używa Celery do rozproszonego wykonywania zadań na wielu workerach.
• KubernetesExecutor: Uruchamia każde zadanie w osobnym podzie Kubernetes.

Zalety Airflow:

• Programowe tworzenie: Workflow są definiowane w kodzie Python.
• Dynamika: DAGs mogą być generowane dynamicznie.
• Rozszerzalność: Łatwo tworzyć własne operatory i hooki.
• Skalowalność: Architektura pozwala na skalowanie systemu.
• Interfejs użytkownika: Przyjazny interfejs webowy do monitorowania i zarządzania.