Объясните механизм взаимодействия потребителя с топиками в Apache Kafka

В Apache Kafka потребитель (consumer) взаимодействует с топиками следующим образом:

• Потребитель подписывается на один или несколько топиков.
• Топик разбит на партиции — единицы параллелизма.
• Потребитель читает сообщения из партиций, начиная с определённого оффсета (смещения).
• Kafka гарантирует, что сообщения в партиции упорядочены, и потребитель читает их последовательно.
• Потребители могут объединяться в группы (consumer groups), чтобы распределять нагрузку: каждый партиция обрабатывается только одним потребителем в группе.
• Потребитель периодически коммитит оффсет, чтобы зафиксировать, какие сообщения уже обработаны.

Пример на Java с использованием KafkaConsumer:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("my-topic"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
    consumer.commitSync();
}

Таким образом, потребитель читает сообщения из топика, обрабатывает их и фиксирует прогресс чтения.