Как связаны топики и партиции в Kafka?

В Apache Kafka топик — это логическая категория или поток сообщений, куда продюсеры публикуют данные, а консьюмеры их читают. Топик разбивается на несколько партиций (partition) для масштабируемости и параллельной обработки.

Связь между топиками и партициями:

• Каждый топик состоит из одной или нескольких партиций.
• Партиции — это упорядоченные, неизменяемые последовательности сообщений.
• Сообщения внутри партиции имеют уникальный смещённый индекс (offset).
• Партиции позволяют распределять нагрузку между несколькими брокерами и консьюмерами.

Например, если топик имеет 3 партиции, то сообщения будут распределяться по этим партициям (например, по ключу или раунд-робином), что позволяет обрабатывать данные параллельно и увеличивает пропускную способность системы.