Основные сущности Kafka — что знаешь?

Основные сущности Apache Kafka:

• Topic (Топик) — логическая категория или поток сообщений. Все сообщения публикуются в топики.

• Partition (Раздел) — топик разбивается на несколько партиций для масштабирования и параллельной обработки.

• Producer (Производитель) — компонент, который публикует сообщения в топики.

• Consumer (Потребитель) — компонент, который читает сообщения из топиков.

• Consumer Group (Группа потребителей) — группа потребителей, которые совместно читают данные из топика, обеспечивая балансировку нагрузки.

• Broker (Брокер) — сервер Kafka, который хранит данные и обрабатывает запросы.

• Offset — уникальный идентификатор позиции сообщения в партиции, который используется для отслеживания прочитанных сообщений.

• ZooKeeper (в старых версиях) — сервис для координации брокеров и управления метаданными (в новых версиях Kafka постепенно переходит на собственный механизм).

Эти сущности обеспечивают высокую производительность, масштабируемость и отказоустойчивость Kafka как системы обмена сообщениями.