В проектах на Golang я использовал Kafka для организации высоконагруженных систем обмена сообщениями. Основной опыт связан с написанием продюсеров и консьюмеров на Go, используя официальную библиотеку confluent-kafka-go и sarama.

Работа с Kafka включала:

Настройку топиков с необходимым уровнем репликации и партиционирования.
Обеспечение гарантированной доставки сообщений с помощью подтверждений (acks).
Обработку ошибок и повторную попытку отправки сообщений.

Airflow применялся для оркестрации ETL-процессов и пайплайнов обработки данных. В частности, я писал DAG'и на Python, которые запускали задачи по расписанию, включая вызовы микросервисов, загрузку данных из Kafka в базы данных и мониторинг статусов.

Пример простого DAG для запуска задачи обработки сообщений из Kafka:

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime

def process_kafka_messages():
    # логика обработки сообщений
    pass

default_args = {
    'start_date': datetime(2023, 1, 1),
    'retries': 1
}

dag = DAG('kafka_processing', default_args=default_args, schedule_interval='@hourly')

process_task = PythonOperator(
    task_id='process_kafka',
    python_callable=process_kafka_messages,
    dag=dag
)

Таким образом, Kafka обеспечивал надежную передачу данных, а Airflow — управление и мониторинг процессов обработки.

[имя] спросил: расскажите о вашем опыте работы с Kafka и Airflow.