За счет каких механизмов в Kafka реализуются гарантии доставки (at-least-once, exactly-once)?

В Kafka гарантии доставки сообщений реализуются следующими механизмами:

1. At-least-once (как минимум один раз):

   • Автоматическое подтверждение (commit) смещений (offsets) после обработки сообщений потребителем. Если offset подтверждён после обработки, при сбое потребитель может получить дубликаты, но не пропустит сообщения.
   • Репликация партиций на несколько брокеров с подтверждением записи (acks) для обеспечения устойчивости к сбоям.
   • Настройка acks=all при отправке сообщений продюсером, чтобы гарантировать запись на все реплики.

2. Exactly-once (ровно один раз):

   • Использование транзакций Kafka: продюсер может отправлять сообщения в транзакции, которые либо полностью коммитятся, либо откатываются.
   • Идемпотентный продюсер: продюсер присваивает уникальные идентификаторы сообщениям, что позволяет брокеру избежать дублирования при повторных попытках отправки.
   • Обработка транзакций на стороне потребителя с помощью Kafka Streams или поддержка транзакций в консьюмере для атомарного коммита offset и обработки данных.

Таким образом, комбинация идемпотентного продюсера, транзакций и управления offset позволяет реализовать exactly-once семантику, а базовая репликация и подтверждение offset — at-least-once.