Welche Entität in Kafka wird verwendet, um Verbraucher zwischen den Partitionen eines Themas zu verteilen?

In Kafka wird die Entität Consumer Group (Verbrauchergruppe) verwendet, um Verbraucher zwischen den Partitionen eines Themas zu verteilen. Jeder Verbraucher in der Gruppe erhält einen einzigartigen Satz von Partitionen, was die parallele Verarbeitung von Daten ohne Duplizierung ermöglicht.

Funktionsprinzip:

• Alle Verbraucher mit derselben group.id bilden eine Gruppe.
• Kafka verteilt die Partitionen des Themas auf die Verbraucher der Gruppe.
• Wenn Verbraucher hinzugefügt oder entfernt werden, erfolgt eine Neugewichtung.

Auf diese Weise sorgt die Consumer Group für Skalierbarkeit und Lastenausgleich beim Lesen aus dem Thema.