Quantas partições deve ter um tópico Kafka?

O número de partições em um tópico Kafka depende de vários fatores:

• Largura de banda necessária: Quanto mais partições, maior o paralelismo e a capacidade.
• Número de consumidores no grupo: Geralmente, o número de partições deve ser pelo menos igual ao número de consumidores para garantir uma distribuição eficiente da carga.
• Recursos de hardware: Um maior número de partições aumenta a carga no controlador e nos brokers.

O número ótimo de partições é um compromisso entre desempenho e complexidade de gestão. Por exemplo, para sistemas pequenos, 3-10 partições são suficientes, enquanto para sistemas de alta carga, podem chegar a centenas ou mais.

Exemplo de configuração de um tópico com 10 partições usando o comando kafka-topics:

kafka-topics --create --topic my-topic --partitions 10 --relication-factor 3 --bootstrap-server localhost:9092