Dans quel endroit à l'intérieur de Kafka la valeur Offset pour les messages consommés est-elle stockée?
sobes.tech IA
Réponse de l'IA
Dans Apache Kafka, la valeur de Offset pour les messages consommés est stockée dans un sujet interne spécial appelé __consumer_offsets. Ce sujet contient des informations sur la position actuelle de chaque consommateur (groupe de consommateurs) dans chaque partition du sujet.
Ainsi, Kafka ne stocke pas l'offset localement chez le client, mais de manière centralisée dans le cluster, ce qui permet aux consommateurs de se récupérer et de continuer la lecture à partir de la position souhaitée.
De plus, les clients peuvent sauvegarder l'offset manuellement (commit) ou automatiquement, selon la configuration du consommateur.
Exemple en Go utilisant la bibliothèque confluent-kafka-go pour committer les offsets :
consumer.CommitMessage(message)
où message est le message lu, dont l'offset sera sauvegardé.