Auf welche Weise sorgt Kafka bei einem Ausfall eines Brokers für den Schutz der Daten?

Kafka обеспечивает защиту данных при сбое брокера за счёт следующих механизмов:

1. Репликация партиций: Каждая партиция топика реплицируется на несколько брокеров (replication factor). Если один брокер выходит из строя, данные доступны на других репликах.

2. Лидер и фолловеры: Для каждой партиции выбирается лидер, который обрабатывает все операции записи и чтения. Остальные реплики — фолловеры — синхронизируют данные с лидером.

3. Подтверждение записи (acks): Продюсер может настроить уровень подтверждения записи (например, ждать подтверждения от всех реплик), что гарантирует сохранность данных.

4. ISR (In-Sync Replicas): Набор реплик, которые синхронизированы с лидером. Только данные, подтверждённые всеми репликами из ISR, считаются записанными.

5. Автоматическое переключение лидера: При сбое брокера, который был лидером, Kafka автоматически выбирает нового лидера из ISR, обеспечивая доступность данных.

Таким образом, комбинация репликации, подтверждений и автоматического управления лидерами обеспечивает защиту данных при сбоях отдельных брокеров.