Quels mécanismes assurent la résilience de Kafka face aux défaillances et à la perte de données?

Kafka assure la résilience aux pannes et à la perte de données grâce à plusieurs mécanismes clés:

1. RéPLICATION des partitions

   • Chaque partition d’un sujet est répliquée sur plusieurs brokers.
   • Si un broker tombe en panne, les données sont disponibles sur d’autres réplicas.

2. Acknowledgements (acks)

   • Le producteur peut configurer le niveau d’accusé de réception : de l’écriture sur un seul broker à la confirmation par toutes les réplicas.
   • Cela permet d’équilibrer performance et fiabilité.

3. Cohérence du leader de partition

   • Un leader est élu pour chaque partition, qui gère toutes les opérations d’écriture et de lecture.
   • Les réplicas se synchronisent avec le leader.

4. Journal de messages immuables (log)

   • Les messages sont enregistrés dans des fichiers journaux, permettant la récupération après panne.

5. Contrôle des décalages (offsets)

   • Les consommateurs peuvent sauvegarder leurs décalages, permettant de reprendre la lecture à partir du point souhaité.

6. Configuration des paramètres de rétention et de nettoyage

   • Permet de gérer la durée de conservation des messages et les politiques de suppression.

Ces mécanismes assurent ensemble une haute fiabilité et une résilience de Kafka face aux pannes, minimisant le risque de perte de données.