Какое внутреннее устройство стоит за понятием Topic в Kafka?

В Kafka понятие Topic представляет собой логическую категорию или канал для сообщений. Внутренне Topic разбит на несколько партиций (partitions), каждая из которых является упорядоченным, неизменяемым журналом сообщений.

Каждая партиция хранит сообщения в порядке записи и имеет уникальный смещённый индекс (offset) для каждого сообщения. Партиции распределяются по брокерам Kafka для масштабируемости и отказоустойчивости.

Таким образом, Topic — это набор партиций, которые позволяют параллельно читать и писать данные, обеспечивая высокую производительность и масштабируемость системы.