Mit írnál a leírásba, ha egy rendszer eseményeket küld Kafka-ba üzleti adatokkal, és ezeket az adatokat le kell szedned?

A Kafka-ból származó üzleti adatok gyűjtésére szolgáló feladat leírásában a következő pontokat kell megadni:

• Adatforrás: Kafka témák, amelyekben üzleti események kerülnek közzétételre.
• Gyakoriság és adatvolumen: milyen gyakran és mekkora mennyiségben várhatók az üzenetek.
• Üzenetformátum: adatstruktúra, serializáció (pl. JSON, Avro).
• Feldolgozási követelmények: szükséges-e szűrni, aggregálni vagy transzformálni az adatokat.
• Megbízhatóság és kézbesítési garanciák: duplikátumok kezelése, üzenetek sorrendje.
• Integráció: hová és hogyan kerülnek továbbításra az adatok (adatbázis, analitikai rendszer stb.).

Példa leírás:

"Fejlesszen ki egy komponenst, amely fogyasztja az eseményeket a Kafka business-events témából. JSON formátumú üzenetek, akár 1000 üzenet percenként. A komponensnek biztosítania kell a veszteségmentes és duplikátummentes feldolgozást, szűrje az eseményeket order_created típus szerint, és mentse el őket egy PostgreSQL adatbázisba."