¿Cuántas particiones debe tener un tema de Kafka?

La cantidad de particiones en un tema de Kafka depende de varios factores:

• Capacidad de ancho de banda requerida: Cuantas más particiones, mayor paralelismo y capacidad de ancho de banda.
• Número de consumidores en el grupo: Generalmente, el número de particiones debe ser al menos igual al número de consumidores para garantizar una distribución eficiente de la carga.
• Recursos de hardware: Un mayor número de particiones aumenta la carga en el controlador y los brokers.

El número óptimo de particiones es un compromiso entre rendimiento y complejidad de gestión. Por ejemplo, para sistemas pequeños, 3-10 particiones son suficientes, mientras que para sistemas de alta carga, pueden ser cientos o más.

Ejemplo de configuración de un tema con 10 particiones usando el comando kafka-topics:

kafka-topics --create --topic my-topic --partitions 10 --replication-factor 3 --bootstrap-server localhost:9092