Qu'est-ce qu'un groupe de consommateurs dans Kafka ? Qu'est-ce que les partitions et à quoi servent-elles ?

Dans Kafka, le groupe de consommateurs est un groupe de consommateurs qui lisent conjointement les données d’un sujet. Chaque consommateur du groupe reçoit un ensemble unique de partitions à traiter, ce qui permet de faire évoluer la lecture et d’assurer un équilibrage de la charge.

Les partitions sont des divisions logiques du sujet qui permettent de paralléliser l’écriture et la lecture des messages. Chaque partition stocke un flux ordonné de messages.

À quoi servent les partitions :

• Permettent de faire évoluer la performance grâce au traitement parallèle.
• Assurent l’ordre des messages au sein de la partition.
• Permettent au groupe de consommateurs de répartir la charge entre les consommateurs.

Exemple : si un sujet a 4 partitions et que le groupe a 2 consommateurs, chacun recevra 2 partitions pour la lecture.