O que escreverias na descrição se um sistema envia eventos para o Kafka com dados de negócio e precisas recuperar esses dados?

Na descrição da tarefa para recolha de dados de negócio do Kafka, deve indicar os seguintes pontos:

• Fonte de dados: tópicos Kafka onde são publicados eventos com dados de negócio.
• Frequência e volume de dados: com que frequência e em que volume se esperam mensagens.
• Formato das mensagens: estrutura de dados, serialização (por exemplo, JSON, Avro).
• Requisitos de processamento: é necessário filtrar, agregar ou transformar os dados.
• Confiabilidade e garantias de entrega: gestão de duplicados, ordem das mensagens.
• Integração: para onde e como os dados serão transferidos (base de dados, sistema analítico, etc.).

Exemplo de descrição:

"Desenvolver um componente para consumir eventos do tópico Kafka business-events. Mensagens em formato JSON, volume até 1000 mensagens por minuto. O componente deve garantir processamento sem perdas ou duplicações, filtrar eventos por tipo order_created e armazená-los numa base de dados PostgreSQL."