Apache Kafka — это распределённая платформа потоковой передачи данных, предназначенная для обработки больших объёмов сообщений в реальном времени. Она используется для построения систем обмена сообщениями, потоковой аналитики и интеграции данных.

Под капотом Kafka представляет собой:

Топики (topics) — логические каналы для сообщений, разбитые на партиции для масштабирования.
Партиции (partitions) — последовательные логи сообщений, которые хранятся на брокерах.
Брокеры (brokers) — серверы, которые хранят партиции и обслуживают клиентов.
Продюсеры (producers) — приложения, которые публикуют сообщения в топики.
Консьюмеры (consumers) — приложения, которые читают сообщения из топиков.
Zookeeper (в классической архитектуре) — координация и управление кластером.

Kafka обеспечивает высокую производительность за счёт записи сообщений на диск с минимальными накладными расходами, репликации для отказоустойчивости и возможности масштабирования за счёт партиционирования. Сообщения в партициях упорядочены, что позволяет потребителям обрабатывать их последовательно.

Таким образом, Kafka — это надежный и масштабируемый брокер сообщений, оптимизированный для потоковой передачи данных в реальном времени.

Что такое Kafka и что у неё под капотом?