Сколько нужно партиций для consumer group?

Количество партиций в топике Kafka для consumer group напрямую влияет на параллелизм обработки сообщений.

• Максимальное количество активных потребителей в группе не может превышать число партиций, так как каждая партиция может быть назначена только одному потребителю в группе.
• Если партиций меньше, чем потребителей, некоторые потребители будут простаивать.
• Если партиций больше, чем потребителей, то некоторые потребители будут обрабатывать по несколько партиций.

Итого, для эффективной работы consumer group количество партиций должно быть равно или больше числа потребителей, чтобы обеспечить максимальную параллельность.

Пример: если у вас 5 потребителей, то желательно иметь не менее 5 партиций.