Schema Registry no Kafka — como funciona, para que serve?

O Schema Registry no Kafka é um serviço que armazena e gere esquemas de dados (por exemplo, Avro, JSON Schema, Protobuf), usados para serializar mensagens no Kafka.

Para que serve:

• Garante a consistência do formato das mensagens entre produtores e consumidores.
• Permite versionar esquemas, facilitando a evolução dos dados sem quebrar a compatibilidade.
• Reduz o tamanho das mensagens armazenando os esquemas separadamente e transmitindo apenas o identificador do esquema.

Como funciona:

1. O produtor, ao enviar uma mensagem, serializa os dados de acordo com o esquema registrado no Schema Registry.
2. Em vez de enviar o esquema completo, envia uma referência (ID) ao esquema.
3. O consumidor, ao receber a mensagem, solicita o esquema pelo ID no Registry e deserializa os dados.

Isso garante que todos os participantes do sistema usem formatos de dados consistentes e simplifica a gestão de mudanças na estrutura das mensagens.