Wat is de rol van consumentengroepen in het Kafka-systeem en waarom zijn ze nodig?

Kafka-consumentengroepen stellen meerdere consumenten in staat om gezamenlijk gegevens uit een topic te lezen, waardoor schaalbaarheid en load balancing worden verzekerd.

Elke consumentengroep ontvangt de volledige stroom berichten, maar binnen de groep wordt elke partitie van het topic slechts door één consument gelezen. Dit maakt parallel verwerken van gegevens mogelijk zonder werk te dupliceren.

Waarvoor ze dienen:

• Schaalbaarheid van verwerking: door het aantal consumenten in de groep te verhogen, kan de berichtverwerking worden versneld.
• Betrouwbaarheid: als een consument uitvalt, neemt een andere zijn partities over.
• Logica scheiding: verschillende groepen kunnen dezelfde gegevens onafhankelijk verwerken.

Voorbeeld: als een topic 4 partities heeft en er is een groep van 2 consumenten, dan leest ieder 2 partities.