Как Kafka достигает отсутствия дублей внутри consumer group?

Kafka обеспечивает отсутствие дублей внутри consumer group за счёт механизма распределения партиций топика между консьюмерами группы. Каждый партиция назначается ровно одному консьюмеру в группе, что исключает параллельное чтение одной и той же партиции разными консьюмерами.

Кроме того, Kafka использует смещения (offsets) для отслеживания позиции чтения в партиции. Консьюмеры периодически коммитят смещения, что позволяет при перезапуске продолжить чтение с последней подтверждённой позиции, избегая повторной обработки уже прочитанных сообщений.

Таким образом, комбинация уникального назначения партиций и управления смещениями обеспечивает, что каждое сообщение будет обработано ровно один раз внутри consumer group, если правильно настроена обработка и коммит offset'ов.