Que tarefas realizou com Kafka? Como configurou as garantias de entrega (exactly-once)?

O Kafka é geralmente usado para resolver tarefas de organização de transmissão confiável e escalável de mensagens entre microserviços, processamento de eventos em tempo real e construção de sistemas com alta capacidade de throughput.

Para configurar a garantia de entrega exactly-once, foram utilizados os seguintes métodos:

• Ativar o suporte a transações no Kafka Producer para garantir o envio atômico de mensagens.
• Utilizar um produtor idempotente (enable.idempotence=true) para evitar a duplicação de mensagens.
• No lado do consumidor, aplicar processamento com armazenamento de offsets dentro de transações para garantir que cada mensagem seja processada exatamente uma vez.

Exemplo de configuração de um produtor em Go usando a biblioteca sarama:

config := sarama.NewConfig()
config.Producer.Idempotent = true
config.Producer.RequiredAcks = sarama.WaitForAll
config.Producer.Transaction.ID = "my-transactional-id"

producer, err := sarama.NewSyncProducer(brokers, config)
if err != nil {
    panic(err)
}

// Iniciar a transação
producer.BeginTxn()

// Enviar mensagens
producer.SendMessage(&sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")})

// Confirmar a transação
producer.CommitTxn()

Dessa forma, alcança-se a semântica exactly-once ao trabalhar com Kafka.