Зачем нужен ключ партиционирования? Как Kafka определяет партицию по ключу?

Ключ партиционирования в Kafka нужен для определения, в какую партицию топика попадёт конкретное сообщение. Это важно для обеспечения порядка сообщений с одинаковым ключом и балансировки нагрузки между партициями.

Kafka использует ключ для вычисления хэш-значения, обычно через функцию хэширования (например, murmur2). Затем это значение берётся по модулю количества партиций, чтобы определить индекс партиции:

int partition = (key == null) ?
    randomPartition() :
    Math.abs(hash(key)) % numPartitions;

Таким образом, все сообщения с одинаковым ключом гарантированно попадут в одну и ту же партицию, что важно для упорядоченности и консистентности обработки.