Quali impostazioni di retention ci sono in Kafka per l'archiviazione dei dati?

In Kafka, i seguenti parametri principali vengono utilizzati per configurare la conservazione dei dati (retention):

• retention.ms — tempo di conservazione dei messaggi in millisecondi. Dopo questo tempo, i messaggi vengono eliminati.
• retention.bytes — dimensione massima del segmento di log in byte. Se la dimensione del log supera questo valore, i dati più vecchi vengono eliminati.
• log.retention.check.interval.ms — intervallo di controllo del log per determinare se è necessario eliminare dati obsoleti.

Questi parametri possono essere configurati a livello di topic o broker. Ad esempio, per conservare i dati non più di 7 giorni, si imposta retention.ms=604800000.

È anche possibile configurare la politica di eliminazione:

• delete — eliminare i messaggi obsoleti (impostazione predefinita)
• compact — mantenere solo gli ultimi messaggi con una chiave unica (compattazione logica)

Queste impostazioni consentono di bilanciare tra il tempo di conservazione dei dati e lo spazio su disco occupato.