Что такое топик и партиция в Kafka?

В Apache Kafka топик — это логическая категория или канал, в который публикуются сообщения. Топик можно представить как поток данных, где производители (producers) отправляют сообщения, а потребители (consumers) их читают.

Партиция — это физическое подразделение топика. Каждый топик разбивается на одну или несколько партиций, которые хранятся на брокерах Kafka. Партиции упорядочены и позволяют масштабировать обработку данных и обеспечивают параллелизм. Сообщения внутри партиции упорядочены и имеют уникальный смещённый индекс (offset).

Таким образом, топик — это логический контейнер сообщений, а партиции — его физические части, обеспечивающие масштабируемость и отказоустойчивость.