Sobes.tech
Junior — Middle

Mi történik, ha egy partíción több Fogyasztót indítunk el, és miért lehet ez problémás?

sobes.tech MI

Válasz az MI-től

В Kafka одна партиция может быть потреблена только одним Consumer из одной Consumer Group одновременно. Если запустить множество Consumer на одну и ту же партицию в рамках одной группы, то фактически только один из них будет получать сообщения, а остальные будут простаивать.

Проблемы:

  • Нет параллельной обработки внутри одной партиции, так как порядок сообщений должен сохраняться.
  • Избыточное количество Consumer на партицию не увеличит производительность, а только усложнит архитектуру.

Если же Consumer принадлежат разным группам, то каждый получит копию сообщений, что может быть нежелательно.

Таким образом, для масштабирования потребления нужно увеличивать количество партиций, а не запускать много Consumer на одну партицию.