Welke retentie-instellingen zijn er in Kafka voor gegevensopslag?

In Kafka worden de volgende belangrijke parameters gebruikt om gegevensopslag (retentie) te configureren:

• retention.ms — de bewaartijd van berichten in milliseconden. Na deze tijd worden de berichten verwijderd.
• retention.bytes — de maximale grootte van het logsegment in bytes. Als de loggrootte deze waarde overschrijdt, worden oude gegevens verwijderd.
• log.retention.check.interval.ms — interval voor het controleren van het log op de noodzaak om verouderde gegevens te verwijderen.

Deze parameters kunnen op topic- of broker-niveau worden ingesteld. Bijvoorbeeld, om gegevens niet langer dan 7 dagen te bewaren, wordt retention.ms=604800000 ingesteld.

Er is ook de mogelijkheid om het verwijderbeleid te configureren:

• delete — verwijdert verouderde berichten (standaard)
• compact — bewaart alleen de laatste berichten met een unieke sleutel (logische compactie)

Deze instellingen maken het mogelijk om een balans te vinden tussen de bewaartijd van gegevens en de hoeveelheid schijfruimte die wordt gebruikt.