Milyen retention beállítások vannak a Kafka-ban az adatok tárolására?

A Kafka-ban a következő fő paramétereket használják az adatok tárolásának (retenció) beállítására:

• retention.ms — az üzenetek tárolási ideje millisekundumban. Ezt követően az üzenetek törlésre kerülnek.
• retention.bytes — a napló szegmens maximális mérete bájtban. Ha a napló mérete meghaladja ezt az értéket, a régi adatok törlésre kerülnek.
• log.retention.check.interval.ms — a napló ellenőrzési intervalluma, hogy meghatározza, szükséges-e a régi adatok törlése.

Ezeket a paramétereket témaszinten vagy bróker szinten lehet konfigurálni. Például, hogy legfeljebb 7 napig tároljon adatokat, beállítják a retention.ms=604800000 értéket.

Emellett lehetőség van a törlési politika konfigurálására is:

• delete — a régi üzenetek törlése (alapértelmezett)
• compact — csak az utolsó üzenetek megtartása egyedi kulccsal (logikai tömörítés)

Ezek a beállítások lehetővé teszik az adatok tárolási idő és a lemezterület közötti egyensúly kialakítását.