Kafka обеспечивает устойчивость и отказоустойчивость за счёт нескольких ключевых механизмов:

Репликация партиций: каждая партиция топика может иметь несколько реплик, одна из которых является лидером, остальные — фолловерами. Если лидер падает, один из фолловеров автоматически становится новым лидером.
Контроль ISR (In-Sync Replicas): только реплики, которые синхронизированы с лидером, считаются актуальными для чтения и записи, что предотвращает потерю данных.
Автоматическое переключение лидера (Leader Election): при сбое брокера Kafka автоматически выбирает нового лидера для партиций из числа синхронизированных реплик.
Журналирование и хранение данных на диске: данные сохраняются на диск с возможностью восстановления после сбоев.
Настройки подтверждения записи (acks): продюсер может ждать подтверждения от лидера или всех реплик, что влияет на надёжность записи.
Мониторинг и алерты: интеграция с системами мониторинга помогает быстро реагировать на сбои.

Пример настройки продюсера с подтверждением от всех реплик (для максимальной надёжности):

Properties props = new Properties();
props.put("acks", "all");
props.put("retries", 3);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Таким образом, сочетание репликации, автоматического выбора лидера и подтверждений записи обеспечивает отказоустойчивость Kafka.

Какие механизмы обеспечивают устойчивость и отказоустойчивость Kafka в работе?