Семантики доставки в Kafka: exactly once, at least once, at most once. Поддерживает ли Kafka эти семантики от продюсера до консьюмера?

В Kafka существуют три основных семантики доставки сообщений:

• At most once — сообщение доставляется не более одного раза, но возможна потеря сообщений.
• At least once — сообщение доставляется как минимум один раз, возможны дубликаты.
• Exactly once — сообщение доставляется ровно один раз без потерь и дубликатов.

Kafka изначально поддерживает семантику at least once. Это означает, что сообщения могут быть доставлены несколько раз, если, например, консьюмер не подтвердил получение.

Для реализации exactly once семантики Kafka предоставляет поддержку транзакций на уровне продюсера и консьюмера начиная с версии 0.11.0.0. Это позволяет гарантировать, что сообщения будут записаны и обработаны ровно один раз при использовании транзакций и идемпотентных продюсеров.

Семантика at most once достигается, если продюсер отправляет сообщения без подтверждений, но это не типично для Kafka.

Таким образом, Kafka поддерживает все три семантики, но для exactly once требуется правильная настройка и использование транзакций и идемпотентных продюсеров.