Kafka ning o'sib borayotgan ma'lumot oqimlarini boshqarish uchun gorizontal kengaytirishni ta'minlash mumkinmi?

Ha, Apache Kafka gorizontal kengaytirilishni qo'llab-quvvatlaydi, bu esa o'sib borayotgan ma'lumot oqimlarini boshqarishga imkon beradi. Bu, mavzularni bo'laklarga bo'lish va ularni klasterdagi turli brokerlar orasida taqsimlash orqali amalga oshiriladi. Har bir broker o'z bo'laklarini boshqaradi, bu esa parallel o'qish va yozishni ta'minlaydi.

Kengaytirish uchun:

• Mavzudagi bo'laklar sonini oshirish.
• Kafka klasteriga yangi brokerlar qo'shish.
• Brokerlar o'rtasida bo'laklarni muvozanatlash.

Shunday qilib, yuk taqsimlanadi va tizim katta hajmdagi ma'lumotlarni yo'qotmasdan boshqarishi mumkin.

Ko'p bo'lakli mavzuni yaratish misoli Kafka buyruq yordamida:

kafka-topics.sh --create --topic misol-mavzu --partitions 10 --replication-factor 3 --bootstrap-server localhost:9092

Go kodida, sarama mijozidan foydalanib, yukni boshqarish uchun xabar yuborishda bo'lakni ko'rsatish mumkin.