Hoe bereikt Kafka het ontbreken van duplicaten binnen de consumer group?

Kafka обеспечивает отсутствие дублей внутри consumer group за счёт механизма распределения партиций топика между консьюмерами группы. Каждый партиция назначается ровно одному консьюмеру в группе, что исключает параллельное чтение одной и той же партиции разными консьюмерами.

Кроме того, Kafka использует смещения (offsets) для отслеживания позиции чтения в партиции. Консьюмеры периодически коммитят смещения, что позволяет при перезапуске продолжить чтение с последней подтверждённой позиции, избегая повторной обработки уже прочитанных сообщений.

Таким образом, комбинация уникального назначения партиций и управления смещениями обеспечивает, что каждое сообщение будет обработано ровно один раз внутри consumer group, если правильно настроена обработка и коммит offset'ов.