Kas yra consumer group Kafka?

Kafka vartotojų grupė yra vartotojų grupė, kurie kartu skaito duomenis iš temos. Kiekviena temos dalis paskirstoma tarp grupės vartotojų taip, kad kiekviena dalis būtų skaitoma tik vieno vartotojo iš grupės. Tai leidžia mastelį didinti žinučių apdorojimą ir užtikrinti apkrovos balansavimą. Jei grupėje yra keli vartotojai, jie apdoroja skirtingas dalis paraleliai, o jei vienas vartotojas sugenda, jo dalys perskirstomos tarp likusių.

Pavyzdys Go kalba naudojant sarama biblioteką:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// Žinučių apdorojimo logika įgyvendinama handler'e