Что происходит, если на одну партицию запустить множество Consumer, и почему это может быть проблематично?

В Kafka одна партиция может быть потреблена только одним Consumer из одной Consumer Group одновременно. Если запустить множество Consumer на одну и ту же партицию в рамках одной группы, то фактически только один из них будет получать сообщения, а остальные будут простаивать.

Проблемы:

• Нет параллельной обработки внутри одной партиции, так как порядок сообщений должен сохраняться.
• Избыточное количество Consumer на партицию не увеличит производительность, а только усложнит архитектуру.

Если же Consumer принадлежат разным группам, то каждый получит копию сообщений, что может быть нежелательно.

Таким образом, для масштабирования потребления нужно увеличивать количество партиций, а не запускать много Consumer на одну партицию.