Para que serve a chave de particionamento? Como o Kafka determina a partição pela chave?

A chave de particionamento no Kafka é necessária para determinar em qual partição do tópico uma mensagem específica será colocada. Isso é importante para garantir a ordem das mensagens com a mesma chave e para equilibrar a carga entre as partições.

O Kafka usa a chave para calcular um valor hash, geralmente através de uma função de hash (por exemplo, murmur2). Depois, esse valor é tomado módulo pelo número de partições para determinar o índice da partição:

int partition = (key == null) ?
    partiçãoAleatória() :
    Math.abs(hash(key)) % numPartições;

Dessa forma, todas as mensagens com a mesma chave garantirão que vão para a mesma partição, o que é importante para a ordenação e consistência do processamento.