En Kafka, para distribuir los consumidores entre las particiones de un mismo tema, se utiliza la entidad Consumer Group (grupo de consumidores). Cada consumidor en el grupo recibe un conjunto único de particiones, lo que permite procesar datos en paralelo sin duplicación.

Principio de funcionamiento:

Todos los consumidores con el mismo group.id forman un grupo.
Kafka distribuye las particiones del tema entre los consumidores del grupo.
Si se añaden o retiran consumidores, se realiza un rebalanceo.

De esta manera, el Consumer Group garantiza escalabilidad y balanceo de carga al leer del tema.

Anterior Siguiente