Для гарантии последовательной обработки сообщений в Kafka необходимо обеспечить, чтобы сообщения из одного раздела (partition) обрабатывались строго в порядке их поступления. Основные моменты:

Использовать один consumer на partition: Kafka гарантирует порядок сообщений внутри одного partition, но не между разными partition. Если у вас несколько partition, порядок между ними не гарантируется.
Обрабатывать сообщения синхронно: Необходимо обрабатывать сообщения последовательно, не параллелить обработку внутри одного partition.
Коммитить оффсеты после обработки: Чтобы избежать повторной обработки и сохранить порядок, нужно коммитить оффсет только после успешной обработки сообщения.

Пример на Java с использованием KafkaConsumer:

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("topic"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // Обработка сообщения
        process(record.value());
        // Коммит оффсета после обработки
        consumer.commitSync(Collections.singletonMap(
            new TopicPartition(record.topic(), record.partition()),
            new OffsetAndMetadata(record.offset() + 1)));
    }
}

Таким образом, последовательность сообщений в рамках одного partition сохраняется, и обработка происходит строго по порядку.

Как гарантировать последовательную обработку сообщений в Kafka?