Šta se dešava ako na jednu particiju pokrenete više Consumer-a, i zašto je to problematično?

В Kafka одна партиция может быть потреблена только одним Consumer из одной Consumer Group одновременно. Если запустить множество Consumer на одну и ту же партицию в рамках одной группы, то фактически только один из них будет получать сообщения, а остальные будут простаивать.

Проблемы:

• Нет параллельной обработки внутри одной партиции, так как порядок сообщений должен сохраняться.
• Избыточное количество Consumer на партицию не увеличит производительность, а только усложнит архитектуру.

Если же Consumer принадлежат разным группам, то каждый получит копию сообщений, что может быть нежелательно.

Таким образом, для масштабирования потребления нужно увеличивать количество партиций, а не запускать много Consumer на одну партицию.