Welke mechanismen biedt Kafka voor betrouwbare berichtbezorging?

Kafka zorgt voor betrouwbare berichtaflevering door middel van verschillende kernmechanismen:

1. Replicatie van partitions — elke partition van een topic kan meerdere replicas op verschillende brokers hebben. Als een broker uitvalt, zijn de gegevens beschikbaar op andere.

2. Bevestigingen (acks) — de producer kan het bevestigingsniveau van de broker instellen:

   • acks=0: wacht niet op bevestiging (lage betrouwbaarheid)
   • acks=1: wacht op bevestiging van de leider van de partition
   • acks=all: wacht op bevestiging van alle replicas (maximale betrouwbaarheid)

3. Offsets — consumenten volgen welke berichten al verwerkt zijn, om verlies of duplicatie te voorkomen.

4. Garantie van volgorde — binnen een partition zijn berichten geordend, wat helpt de sequentie te behouden.

5. Idempotentie van de producer — voorkomt duplicatie van berichten bij herhaalde verzending.

Deze mechanismen zorgen samen voor hoge betrouwbaarheid en fouttolerantie bij het verzenden van berichten in Kafka.