Kafka'da consumer group nedir? Partitionlar nedir ve neden gereklidirler?

Kafka'da tüketici grubu, verileri birlikte okuyan tüketiciler grubudur. Grubun her bir tüketicisi, işleme için benzersiz bir bölüm kümesi alır, bu da okuma ölçeklendirmeyi ve yük dengelemesini sağlar.

Bölümler, mesajların yazılmasını ve okunmasını paralelleştirmeye olanak tanıyan mantıksal bölümlerdir. Her bölüm, sıralı bir mesaj akışı depolar.

Bölümlerin amacı:

• Paralel işlem ile performansı ölçeklendirmeye olanak tanır.
• Bölüm içindeki mesajların sıralanmasını sağlar.
• Tüketici grubunun yükü tüketiciler arasında dağıtmasına olanak tanır.

Örnek: Bir konu 4 bölüme sahipse ve grupta 2 tüketici varsa, her biri okuma için 2 bölüm alır.