Гарантии доставки Kafka — между какими элементами они работают?

Гарантии доставки в Apache Kafka работают между продюсером (producer), брокером (broker) и консьюмером (consumer). Основные типы гарантий:

• At most once — сообщение может быть доставлено 0 или 1 раз, без повторов, возможна потеря данных.
• At least once — сообщение доставляется минимум один раз, возможны дубли.
• Exactly once — сообщение доставляется ровно один раз, без потерь и дублирования.

Эти гарантии обеспечиваются взаимодействием:

• Между продюсером и брокером: подтверждения записи (acks), повторные попытки отправки.
• Между брокером и консьюмером: контроль смещений (offsets), подтверждения обработки.

Например, для exactly-once семантики используется идемпотентный продюсер и транзакции, чтобы гарантировать атомарность записи и обработки сообщений.