Como estão relacionados o Topic e a Partition no Kafka?

No Apache Kafka, um Topic é uma categoria lógica ou fluxo de mensagens onde os dados são publicados. Cada Topic é dividido em várias Partition — partes físicas que armazenam mensagens em ordem.

A relação entre eles:

• Um Topic consiste em uma ou várias Partition.
• Uma Partition é uma sequência de mensagens armazenadas nos brokers do Kafka.
• Dividir um Topic em Partition permite escalar o processamento de dados e fornece paralelismo: diferentes consumidores podem ler diferentes Partition simultaneamente.
• A ordem das mensagens é garantida dentro de uma mesma Partition, mas não entre Partition.

Assim, uma Partition é a unidade de paralelismo e escalabilidade dentro de um Topic, e um Topic é um grupo lógico de mensagens que agrupa essas Partition.