Какой был уровень пропускной способности сообщений, передаваемых через Kafka, на вашем предыдущем месте работы?

Уровень пропускной способности сообщений в Kafka зависит от конфигурации кластера, аппаратных ресурсов и характера нагрузки. На моём предыдущем месте работы мы обрабатывали порядка нескольких десятков тысяч сообщений в секунду на один топик.

Для примера, при настройках с несколькими брокерами и партициями, а также оптимизированным продюсером и консьюмером, можно достигать пропускной способности в сотни мегабайт в секунду.

Важно учитывать, что пропускная способность зависит от:

• размера сообщений
• количества партиций
• числа брокеров
• настроек продюсера (например, batch.size, linger.ms)
• производительности потребителей

В реальных проектах мы мониторили метрики Kafka и при необходимости масштабировали кластер для поддержки требуемой нагрузки.