Что такое «at least once» и «exactly once» в Kafka?

В Kafka термины «at least once» и «exactly once» относятся к гарантиям доставки сообщений:

• At least once — означает, что каждое сообщение будет доставлено потребителю как минимум один раз. Возможна ситуация, когда одно и то же сообщение будет получено несколько раз (дубликаты). Это происходит, если, например, подтверждение получения сообщения не дошло, и продюсер повторно отправляет сообщение.

• Exactly once — гарантирует, что каждое сообщение будет обработано ровно один раз, без дубликатов. В Kafka это достигается с помощью идемпотентных продюсеров и транзакций, которые обеспечивают атомарность записи и обработки сообщений.

Пример настройки идемпотентного продюсера на Go с использованием библиотеки confluent-kafka-go:

producer, err := kafka.NewProducer(&kafka.ConfigMap{
    "bootstrap.servers": "localhost:9092",
    "enable.idempotence": true, // включает exactly-once для продюсера
})
if err != nil {
    panic(err)
}

Таким образом, выбор между этими режимами зависит от требований к обработке данных и допустимости дубликатов.