Ko rakstītu aprakstā, ja kāds sistēma sūta notikumus uz Kafka ar biznesa datiem un tev ir jāiegūst šie dati?

Uzdevuma aprakstā par biznesa datu vākšanu no Kafka jābūt norādītiem šādiem punktiem:

• Datu avots: Kafka tēmas, kurās publicēti notikumi ar biznesa datiem.
• Biežums un datu apjoms: cik bieži un kādā apjomā gaidāmas ziņas.
• Ziņu formāts: datu struktūra, serializācija (piemēram, JSON, Avro).
• Apstrādes prasības: vai nepieciešams filtrēt, agregēt vai pārveidot datus.
• Uzticamība un piegādes garantijas: duplikātu pārvaldība, ziņu secība.
• Integrācija: kur un kā dati tiks nodoti tālāk (datu bāze, analītiskā sistēma utt.).

Piemēra apraksts:

"Izstrādājiet komponentu, kas patērē notikumus no Kafka business-events tēmas. Ziņas JSON formātā, apjoms līdz 1000 ziņām minūtē. Komponentam jānodrošina zaudējumu neizraisoša un dubultu neizraisoša apstrāde, filtrēt notikumus pēc veida order_created un saglabāt tos PostgreSQL datu bāzē."