¿Cómo se implementa un grupo de consumidores en Apache Kafka?

En Apache Kafka, un grupo de consumidores se implementa como un conjunto de consumidores que leen datos de los tópicos de manera conjunta, distribuyendo las particiones entre ellos. Cada consumidor en el grupo recibe un conjunto único de particiones, lo que garantiza el procesamiento paralelo de los mensajes sin duplicación.

Al usar Go (Golang) con la biblioteca sarama o confluent-kafka-go, se puede crear un grupo de consumidores especificando el mismo group.id. Kafka distribuirá automáticamente las particiones entre los miembros del grupo y realizará un seguimiento de los desplazamientos (offsets).

Ejemplo usando sarama:

config := sarama.NewConfig()
config.Version = sarama.V2_1_0_0

consumerGroup, err := sarama.NewConsumerGroup([]string{"localhost:9092"}, "my-group", config)
if err != nil {
    panic(err)
}

topics := []string{"my-topic"}

// Implementación de la interfaz ConsumerGroupHandler
handler := &MyConsumerGroupHandler{}

for {
    err := consumerGroup.Consume(ctx, topics, handler)
    if err != nil {
        log.Fatal(err)
    }
}

De esta manera, el grupo de consumidores permite escalar el procesamiento de mensajes y garantiza el balanceo de carga entre las instancias.