Wie viele Partitionen sollte ein Kafka-Thema haben?

Die Anzahl der Partitionen in einem Kafka-Thema hängt von mehreren Faktoren ab:

• Erforderliche Bandbreite: Je mehr Partitionen, desto höher das Parallelismus und die Bandbreite.
• Anzahl der Verbraucher in der Gruppe: In der Regel sollte die Anzahl der Partitionen mindestens der Anzahl der Verbraucher entsprechen, um eine effiziente Lastverteilung zu gewährleisten.
• Hardware-Ressourcen: Eine größere Anzahl von Partitionen erhöht die Belastung für den Controller und die Broker.

Die optimale Anzahl der Partitionen ist ein Kompromiss zwischen Leistung und Verwaltungsaufwand. Zum Beispiel sind für kleine Systeme 3-10 Partitionen ausreichend, für hochbelastete Systeme können es Hunderte oder mehr sein.

Beispiel für die Konfiguration eines Themas mit 10 Partitionen über den Befehl kafka-topics:

kafka-topics --create --topic my-topic --partitions 10 --relication-factor 3 --bootstrap-server localhost:9092