Какой недостаток есть в подходе с использованием material code как ключа партиции в Kafka?

Использование material code как ключа партиции в Kafka имеет следующий недостаток:

Если material code имеет низкую кардинальность или неравномерно распределён (например, некоторые коды встречаются гораздо чаще), то партиции будут распределяться неравномерно. Это приведёт к:

• Горячим партициям: Некоторые партиции будут перегружены, что ухудшит производительность и увеличит задержки.

• Потере баланса нагрузки: Kafka не сможет эффективно использовать все партиции и потребителей.

Чтобы избежать этого, рекомендуется использовать ключи с хорошим распределением или применять дополнительное хеширование/смешивание ключей для равномерного распределения сообщений по партициям.