Welke entiteit in Kafka wordt gebruikt om consumenten te verdelen over de partities van eenzelfde topic?

In Kafka wordt de entiteit Consumer Group (consumenten groep) gebruikt om consumenten te verdelen over de partities van eenzelfde topic. Elke consument in de groep krijgt een unieke set van partities, wat parallel gegevensverwerking zonder duplicatie mogelijk maakt.

Werking:

• Alle consumenten met dezelfde group.id vormen een groep.
• Kafka verdeelt de partities van het topic over de consumenten van de groep.
• Als consumenten worden toegevoegd of verwijderd, vindt er een herverdeling plaats.

Op deze manier zorgt de Consumer Group voor schaalbaarheid en load balancing bij het lezen van het topic.