Какие механизмы обеспечения доставки сообщений реализованы в Kafka?

Kafka обеспечивает несколько ключевых механизмов для гарантированной доставки сообщений:

1. At-least-once (минимум один раз) — по умолчанию Kafka гарантирует, что каждое сообщение будет доставлено хотя бы один раз. Это достигается за счет подтверждений (acks) от брокеров и повторной отправки сообщений при сбоях.

2. Producer acks — настройка подтверждений от брокера:

   • acks=0 — отправитель не ждет подтверждения (надежность низкая).
   • acks=1 — подтверждение от лидера партиции.
   • acks=all (или -1) — подтверждение от всех реплик, что обеспечивает максимальную надежность.

3. Идёмпотентный продюсер — начиная с Kafka 0.11, продюсер может быть идемпотентным, что исключает дублирование сообщений при повторных попытках отправки.

4. Транзакции — позволяют атомарно отправлять группы сообщений в несколько топиков и партиций, обеспечивая exactly-once семантику при потреблении.

5. Коммит оффсетов — потребители могут сохранять смещение (offset) после обработки сообщений, что позволяет при перезапуске продолжить чтение с нужного места и избежать потери или дублирования.

Эти механизмы в совокупности позволяют гибко настраивать надежность доставки сообщений в зависимости от требований приложения.