Чтобы 100 инстансов приложения с 10 потоками каждый эффективно работали с Kafka и не блокировали друг друга, нужно правильно спроектировать топики и партиции.

Количество партиций: Убедитесь, что количество партиций в топике не меньше общего количества потоков, которые будут читать данные (100 инстансов × 10 потоков = 1000 потоков). Это позволит каждому потоку читать с отдельной партиции и избежать блокировок.
Группы потребителей: Используйте разные consumer group для разных задач, если нужно параллельно обрабатывать одни и те же сообщения без конфликтов.
Балансировка нагрузки: Kafka автоматически распределяет партиции между потребителями в группе. При увеличении числа потоков или инстансов партиции будут перераспределены.
Идёмпотентность и обработка: Обеспечьте идемпотентную обработку сообщений, чтобы избежать проблем при повторной доставке.

Пример настройки consumer group в Go с использованием библиотеки sarama:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// Запускаем 10 потоков для каждого инстанса
for i := 0; i < 10; i++ {
    go func() {
        for {
            err := consumerGroup.Consume(ctx, []string{"my-topic"}, handler)
            if err != nil {
                log.Println("Error consuming:", err)
            }
        }
    }()
}

Главное — обеспечить достаточное количество партиций и корректно использовать consumer groups, чтобы каждый поток получал уникальные партиции и не блокировал других.

Как настроить Kafka для 100 инстансов приложения с 10 потоками каждый, чтобы никто не блокировал друг друга?