Какие задачи выполняли с Kafka? Как настраивали гарантии доставки (exactly-once)?

С Kafka обычно решал задачи организации надежной и масштабируемой передачи сообщений между микросервисами, обработки событий в реальном времени и построения систем с высокой пропускной способностью.

Для настройки гарантии доставки exactly-once использовал следующие подходы:

• Включал поддержку транзакций в Kafka Producer, чтобы обеспечить атомарную отправку сообщений.
• Использовал идемпотентный продюсер (enable.idempotence=true), чтобы избежать дублирования сообщений.
• На стороне потребителя применял обработку с сохранением оффсетов в рамках транзакций, чтобы гарантировать, что сообщение обработано ровно один раз.

Пример настройки продюсера на Go с использованием библиотеки sarama:

config := sarama.NewConfig()
config.Producer.Idempotent = true
config.Producer.RequiredAcks = sarama.WaitForAll
config.Producer.Transaction.ID = "my-transactional-id"

producer, err := sarama.NewSyncProducer(brokers, config)
if err != nil {
    panic(err)
}

// Начинаем транзакцию
producer.BeginTxn()

// Отправляем сообщения
producer.SendMessage(&sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")})

// Коммитим транзакцию
producer.CommitTxn()

Таким образом достигается exactly-once семантика при работе с Kafka.