Sobes.tech
Назад к вопросам
Junior — Middle
62

Объясните концепцию обеспечения гарантированной доставки сообщений в Apache Kafka.

Компании, где спрашивали
IT OneIT One

Ответ от нейросети

sobes.tech AI

В Apache Kafka гарантированная доставка сообщений достигается за счет сочетания нескольких механизмов:

  • Репликация данных: Каждый топик разбивается на партиции, которые реплицируются на несколько брокеров. Если один брокер падает, данные доступны на других.
  • Подтверждения (acks): При отправке сообщения продюсер может указать уровень подтверждения — от 0 (без подтверждения) до all (подтверждение от всех реплик). Уровень "all" обеспечивает максимальную надежность.
  • Идempotентность продюсера: Позволяет избежать дублирования сообщений при повторных отправках.
  • Коммит оффсетов консюмерами: Консьюмеры контролируют, какие сообщения обработаны, и могут повторно читать при сбоях.

Пример настройки продюсера с гарантией доставки:

Properties props = new Properties();
props.put("acks", "all");
props.put("enable.idempotence", "true");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Таким образом, Kafka обеспечивает доставку сообщений минимум один раз (at-least-once), а при правильной настройке — почти один раз (exactly-once).