Как работали с Kafka? Приходилось ли тюнить партиции, конфигурации? Что будет если consumers меньше чем partitions?

Работа с Kafka обычно включает настройку партиций и конфигураций для оптимальной производительности и надежности.

• Тюнинг партиций:

  • Количество партиций влияет на параллелизм потребления: больше партиций — выше параллелизм.
  • При увеличении партиций нужно учитывать баланс нагрузки и порядок сообщений.

• Конфигурации:

  • Настройка replication.factor для отказоустойчивости.
  • Параметры fetch.min.bytes, fetch.max.wait.ms у потребителей для оптимизации задержек и пропускной способности.
  • Настройка acks у продюсеров для баланса между скоростью и надежностью.

Если количество consumers меньше, чем партиций, то некоторые consumers будут обрабатывать по несколько партиций, что нормально. Однако, если consumers больше, чем партиций, то часть consumers останется без работы, так как партиция не может быть разделена между несколькими consumers в одной группе.

Пример: если у топика 10 партиций и 3 consumer в группе, то каждый consumer будет читать примерно по 3-4 партиции.