Что хотят услышать интервьюеры:

Kafka обычно описывают через основные сущности: producer, broker, topic, partition, consumer и consumer group. Важно понимать, что Kafka — это распределённый commit log, где данные хранятся потоками сообщений и читаются независимо разными потребителями. Также стоит знать про replication и ZooKeeper/metadata layer в зависимости от версии и архитектуры кластера.

Определение:

Kafka — это распределённая система для передачи и хранения потоков сообщений.
Её структура состоит из нескольких базовых компонентов, которые отвечают за запись, хранение, чтение и отказоустойчивость данных.

Основные компоненты:

Producer — отправляет сообщения в Kafka.
Broker — сервер Kafka, который принимает, хранит и отдаёт сообщения.
Topic — логическая категория или канал для сообщений.
Partition — физическое разбиение topic на части для масштабирования.
Consumer — читает сообщения из Kafka.
Consumer Group — группа consumers, которая совместно обрабатывает данные.
Replication — механизм копирования партиций между брокерами для отказоустойчивости.
Cluster — набор брокеров Kafka, работающих вместе.

Пример использования:

Например, в системе интернет-магазина сервис заказов отправляет событие OrderCreated в topic orders.
Сервис оплаты и сервис доставки подписаны на этот topic и читают сообщения независимо друг от друга.
Если поток заказов большой, topic делят на несколько partition, чтобы consumers могли обрабатывать данные параллельно.

// Пример логики на уровне приложения: producer отправляет событие
var orderEvent = new
{
    OrderId = 123,
    Status = "Created",
    CreatedAt = DateTime.UtcNow
};

// Дальше объект сериализуется и отправляется в topic "orders"
// Конкретная отправка зависит от выбранной Kafka-библиотеки для C#

Пояснение кода:

Код здесь не требуется, потому что вопрос про архитектурные компоненты Kafka, а не про конкретный API.
В примере выше приложение формирует событие заказа, затем producer отправляет его в topic orders.
Kafka сохраняет сообщение в одной из partition этого topic.
Consumer group читает сообщения параллельно: разные consumers могут забирать разные partition, что ускоряет обработку.

Ключевые моменты:

Topic — логический поток сообщений, partition — его физическое разбиение.
Producer пишет данные, consumer читает данные.
Broker хранит сообщения и обслуживает запросы клиентов.
Consumer group позволяет масштабировать чтение и распределять нагрузку.
Replication нужна для отказоустойчивости и сохранности данных при сбое брокера.
Kafka удобна для событийной архитектуры и асинхронного обмена между сервисами.

Какие основные компоненты входят в структуру системы Kafka?