Для чего нужен ZooKeeper в кластере Kafka?

ZooKeeper в кластере Kafka используется для координации и управления состоянием брокеров и топиков. Он отвечает за хранение метаданных кластера, выбор лидера для партиций, отслеживание состояния брокеров и синхронизацию конфигураций. Благодаря ZooKeeper обеспечивается согласованность и отказоустойчивость кластера Kafka.

Например, когда брокер выходит из строя, ZooKeeper помогает определить нового лидера для партиций, чтобы продолжить обработку сообщений без потерь.