Wat is een consumer group in Kafka? Wat zijn partitions en waar zijn ze voor nodig?

In Kafka is een consumer group een groep consumenten die gezamenlijk gegevens uit een topic lezen. Elke consument in de groep krijgt een unieke set partities toegewezen voor verwerking, wat schaalbaarheid van het lezen en load balancing mogelijk maakt.

Partities zijn logische delen van een topic die het parallel verwerken van berichten mogelijk maken. Elke partitie bevat een geordende stroom van berichten.

Waarom zijn partities nodig:

• Ze maken schaalbaarheid van prestaties mogelijk door parallel verwerking.
• Ze zorgen voor de volgorde van berichten binnen een partitie.
• Ze stellen de consumer group in staat om de belasting onder de consumenten te verdelen.

Voorbeeld: als een topic 4 partities heeft en er 2 consumenten in de groep zijn, krijgt ieder 2 partities toegewezen om te lezen.