Что такое Kafka?

Распределенная, отказоустойчивая publish-subscribe система обмена сообщениями, разработанная LinkedIN и ставшая проектом Apache. Используется для построения realtime data pipelines и стриминговых приложений.

Основные компоненты и концепции:

• Broker: Сервер Kafka. Кластер Kafka состоит из одного или нескольких брокеров.
• Topic: Категория, в которую публикуются сообщения. Логически разделяет потоки данных.
• Partition: Топик делится на партиции. Каждая партиция — упорядоченная, неизменяемая последовательность сообщений. Сообщения в пределах партиции назначаются уникальный смещение (offset).
• Producer: Приложение, публикующее сообщения в топик.
• Consumer: Приложение, которое подписывается на топик и потребляет сообщения.
• Consumer Group: Группа консьюмеров, которые совместно потреб