Что такое партиция в Kafka? Как работает чтение с партициями?

В Kafka партиция — это логическая часть топика, представляющая собой упорядоченный, неизменяемый журнал сообщений, к которому постоянно добавляются новые записи.

Каждый топик разбивается на одну или несколько партиций для масштабирования и параллельной обработки.

Как работает чтение с партициями:

• Консьюмеры в группе распределяются по партициям топика, так что каждая партиция читается только одним консьюмером из группы.
• Сообщения внутри партиции имеют уникальный смещённый индекс (offset), по которому консьюмеры отслеживают своё положение.
• Чтение происходит последовательно по offset, что обеспечивает упорядоченность сообщений внутри партиции.
• Параллельное чтение достигается за счёт нескольких партиций и консьюмеров.

Таким образом, партиции обеспечивают масштабируемость и упорядоченность обработки сообщений в Kafka.