Wie haben Sie die Daten in die Datenbank geschrieben — einzeln oder in Stapeln? Konnte eine Kafka-Nachricht 500 Einträge enthalten?

In den meisten Fällen werden Daten zur Steigerung der Leistung und zur Verringerung der Belastung der Datenbank in Batches geschrieben, nicht einzeln. Wenn in einer Kafka-Nachricht 500 Datensätze ankommen, ist es sinnvoll, sie als einen einzigen Batch zu verarbeiten und eine Transaktion oder Batch-Einfügung durchzuführen.

Beispiel in Go mit Verwendung einer Datenbank und Batch-Einfügung:

records := getRecordsFromKafkaMessage(msg) // []Record

// Batch-Vorbereitung
var values []interface{}
query := "INSERT INTO table_name (col1, col2) VALUES "
placeholders := []string{}

for i, r := range records {
    placeholders = append(placeholders, fmt.Sprintf("($%d, $%d)", i*2+1, i*2+2))
    values = append(values, r.Field1, r.Field2)
}
query += strings.Join(placeholders, ",")

// Ausführen der Abfrage
_, err := db.Exec(query, values...)
if err != nil {
    log.Fatal(err)
}

Dieser Ansatz reduziert die Anzahl der Datenbankabfragen und erhöht die Gesamtdurchsatzfähigkeit des Systems.