Что такое партиция в Kafka? Как распределяются партиции между консюмерами одной группы?

Партиция в Kafka — это логическая часть топика, представляющая собой упорядоченную последовательность сообщений. Топик разбивается на несколько партиций для масштабирования и параллельной обработки.

Распределение партиций между консюмерами одной группы происходит так, что каждая партиция назначается ровно одному консюмеру из группы. Это обеспечивает, что каждое сообщение будет обработано только одним консюмером.

Алгоритмы распределения партиций могут быть разными (Range, RoundRobin, Sticky), но суть в том, чтобы равномерно распределить нагрузку и избежать дублирования обработки.

Например, если у группы 3 консюмера и топик с 6 партициями, то каждый консюмер получит примерно по 2 партиции для обработки.