Кои механизми осигуряват устойчивостта на Kafka към сривове и загуба на данни?

Kafka осигурява устойчивост към грешки и загуба на данни чрез няколко ключови механизма:

1. Репликация на партиции

   • Всяка партиция на тема се репликира на няколко брокера.
   • Ако един брокер се повреди, данните са налични на други реплики.

2. Потвърждения за запис (acks)

   • Производителят може да настрои нивото на потвърждение: от запис на един брокер до потвърждение от всички реплики.
   • Това позволява баланс между производителност и надеждност.

3. Консистентност на лидера на партиция

   • За всяка партиция се избира лидер, който обработва всички операции по запис и четене.
   • Репликите се синхронизират с лидера.

4. Журнал на неизменяеми съобщения (лог)

   • Съобщенията се записват във лог файлове, което позволява възстановяване след сривове.

5. Контрол на отместванията (offsets)

   • Потребителите могат да запазват своите отмествания, което позволява възобновяване на четенето от необходимото място.

6. Конфигурация на параметри за задържане и почистване

   • Позволява управление на времето за съхранение на съобщенията и политиките за изтриване.

Тези механизми заедно осигуряват висока надеждност и устойчивост на Kafka към грешки, минимизирайки риска от загуба на данни.