Несколько параллельных consumer'ов Kafka или несколько worker'ов — это рабочая идея?

Да, использование нескольких параллельных consumer'ов Kafka или нескольких worker'ов — это распространённая и эффективная практика для масштабирования обработки сообщений.

Kafka спроектирована так, чтобы позволять нескольким consumer'ам в одной группе параллельно читать из разных партиций топика, что увеличивает пропускную способность. Аналогично, несколько worker'ов позволяют распределить нагрузку и повысить отказоустойчивость системы.

Важно учитывать:

• Количество партиций в топике должно быть не меньше числа consumer'ов для эффективного распределения.
• Нужно контролировать порядок обработки сообщений, если он критичен.
• Следить за балансировкой нагрузки и обработкой ошибок.

Таким образом, такая архитектура — рабочая и часто рекомендуемая для систем с высокой нагрузкой.