Τι είναι το Apache Airflow;

Το Apache Airflow είναι μια πλατφόρμα για τη δημιουργία, τον προγραμματισμό και την παρακολούθηση ροών εργασίας (workflow) με τη μορφή κατευθυνόμενων ακυκλικών γραφημάτων (DAG). Χρησιμοποιείται για τη διαχείριση διαδικασιών ETL/ELT, την εκκίνηση εργασιών σύμφωνα με το χρονοδιάγραμμα και την αυτοματοποίηση διαφόρων λειτουργιών.

Βασικά συστατικά:

• Scheduler: Υπεύθυνος για την ενεργοποίηση εργασιών και την αποστολή τους για εκτέλεση.
• Webserver: Παρέχει ένα περιβάλλον χρήστη για την παρακολούθηση των DAGs, τη διαχείριση εργασιών και την προβολή καταγραφών.
• Worker: Εκτελεί εργασίες (Operators).
• Database: Αποθηκεύει την κατάσταση του Airflow, μεταδεδομένα των DAGs, πληροφορίες σχετικά με εργασίες και εκτελέσεις.

Χαρακτηριστικά και πλεονεκτήματα:

• Python: Οι εργασίες γράφονται σε Python.
• Δυναμικό: Τα DAGs μπορούν να δημιουργηθούν δυναμικά.
• Επεκτάσιμο: Ευκολία στη δημιουργία προσαρμοσμένων operators και hooks.
• Κλιμακούμενο: Η αρχιτεκτονική επιτρέπει την οριζόντια κλιμάκωση των συστατικών.
• GUI: Πληροφοριακή διαδικτυακή διεπαφή για παρακολούθηση και αποσφαλμάτωση.

Παράδειγμα απλού DAG:

from __future__ import annotations

import pendulum

from airflow.models.dag import DAG
from airflow.operators.bash import BashOperator

with DAG(
    dag_id="simple_bash_dag",
    start_date=pendulum.datetime(2023, 1, 1, tz="UTC"),
    schedule=None,
    catchup=False,
    tags=["example"],
) as dag:
    task1 = BashOperator(
        task_id="print_date",
        bash_command="date",
    )

    task2 = BashOperator(
        task_id="sleep_5",
        bash_command="sleep 5",
    )

    task3 = BashOperator(
        task_id="print_hello",
        bash_command="echo hello",
    )

    task1 >> task2 >> task3 # Ορισμός σειράς εκτέλεσης εργασιών