Welcher Kafka-Komponente sorgt dafür, dass Nachrichten nicht doppelt gelesen werden?

In Kafka wird die Verhinderung der erneuten Lesung derselben Nachrichten durch den Offset-Mechanismus und die Verwaltung dieser auf der Seite des Verbrauchers (Consumer) sichergestellt.

Jede Nachricht in einer Partition hat einen einzigartigen Offset — eine fortlaufende Nummer. Der Verbraucher verfolgt, welchen Offset er bereits gelesen hat, und bestätigt (commit) ihn. Beim Neustart beginnt der Verbraucher mit dem Lesen ab dem letzten bestätigten Offset, wodurch eine erneute Lesung bereits verarbeiteter Nachrichten vermieden wird.

Daher ist die Komponente, die für die Verhinderung der erneuten Lesung verantwortlich ist, der Consumer selbst, der die Commit-Offsets verwaltet.