Кластер Kafka узнаёт о своих настройках и передаёт их клиентам через механизм метадаты, который формируется на основе информации о брокерах, топиках и партициях.

Каждый брокер при старте читает свои конфигурационные файлы и регистрируется в ZooKeeper (в старых версиях Kafka) или в собственном внутреннем координационном сервисе (KRaft в новых версиях). ZooKeeper хранит информацию о состоянии кластера, включая список брокеров, топики, партиции и их лидеров.

Метадата — это структурированная информация, которую брокеры передают клиентам в ответ на запросы. Она включает:

Список брокеров и их адреса
Топики и количество партиций
Какая партиция у какого брокера-лидера

Клиенты запрашивают метадату у любого брокера, чтобы знать, куда отправлять сообщения или откуда читать. Клиенты периодически обновляют метадату, чтобы учитывать изменения в кластере (например, добавление брокеров или изменение лидеров партиций).

Пример запроса метадаты в Kafka Producer (Java):

Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
// При инициализации producer запрашивает метадату у брокеров

Таким образом, метадата формируется на основе состояния кластера, хранящегося в ZooKeeper или KRaft, и передаётся клиентам для корректной работы с топиками и партициями.

Как кластер Kafka узнавал о своих настройках и передавал их клиентам? Как составляется метадата?