Hoeveel partities moet een Kafka-topic hebben?

Het aantal partities in een Kafka-topic hangt af van verschillende factoren:

• Vereiste bandbreedte: Hoe meer partities, hoe hoger de paralleliteit en bandbreedte.
• Aantal consumenten in de groep: Over het algemeen moet het aantal partities ten minste gelijk zijn aan het aantal consumenten om een efficiënte verdeling van de belasting te garanderen.
• Hardwarebronnen: Een groter aantal partities verhoogt de belasting op de controller en brokers.

Het optimale aantal partities is een compromis tussen prestaties en beheerscomplexiteit. Bijvoorbeeld, voor kleine systemen zijn 3-10 partities voldoende, voor systemen met hoge belasting kunnen het honderden of meer zijn.

Voorbeeld van het instellen van een topic met 10 partities via het kafka-topics-commando:

kafka-topics --create --topic my-topic --partitions 10 --relication-factor 3 --bootstrap-server localhost:9092