Kuidas määrata teema jaoks optimaalseid jaotiste arvu sõnumivahetussüsteemis?

Optimaalne jaotiste (partitions) arv temaatika sõnumivahetussüsteemis (näiteks Apache Kafka) sõltub mitmest tegurist:

• Sissetulevate sõnumite maht ja kiirus. Mida suurem koormus, seda rohkem jaotisi on vaja paralleelseks töötlemiseks.
• Kasutajate arv. Jaotised võimaldavad skaleerida: iga kasutaja saab lugeda ühest või mitmest jaotisest.
• Nõuded sõnumite töötlemise järjekorrale. Ühes jaotises olevad sõnumid on järjestatud, kuid jaotiste vahel järjekord ei ole garanteeritud.
• Infrastruktuuri ressursid. Rohkem jaotisi tähendab suuremat koormust brokeritele ja kontrollijatele.

Soovitatav:

1. Alustada jaotiste arvuga, mis on võrdne või veidi suurem kasutajate arvust, et tagada paralleelsus.
2. Arvestada tulevase koormuse kasvu ja skaleerimisvõimalusi.
3. Vältida liiga suure jaotiste arvu ilma vajaduseta, et mitte keerustada haldust ja mitte vähendada jõudlust.

Näide: kui teil on 5 kasutajat ja ootate suurt koormust, võite luua 6-10 jaotist, et saavutada tasakaal paralleelsuse ja hallatavuse vahel.