Какие механизмы обеспечивают устойчивость Kafka к сбоям и потере данных?

Kafka обеспечивает устойчивость к сбоям и потере данных с помощью нескольких ключевых механизмов:

1. Репликация партиций

   • Каждая партиция топика реплицируется на несколько брокеров.
   • Если один брокер выходит из строя, данные доступны на других репликах.

2. Подтверждения записи (acks)

   • Производитель может настроить уровень подтверждений: от записи на один брокер до подтверждения всеми репликами.
   • Это позволяет балансировать между производительностью и надёжностью.

3. Согласованность лидера партиции

   • Для каждой партиции выбирается лидер, который обрабатывает все операции записи и чтения.
   • Реплики синхронизируются с лидером.

4. Журнал неизменяемых сообщений (лог)

   • Сообщения записываются в лог-файлы, что обеспечивает возможность восстановления после сбоев.

5. Контроль смещений (offsets)

   • Потребители могут сохранять свои смещения, что позволяет возобновлять чтение с нужного места.

6. Конфигурация параметров ретенции и очистки

   • Позволяет управлять временем хранения сообщений и политиками удаления.

Эти механизмы вместе обеспечивают высокую надёжность и устойчивость Kafka к сбоям, минимизируя риск потери данных.