Koji mehanizmi obezbeđuju otpornost Kafka na kvarove i gubitak podataka?

Kafka obezbeđuje otpornost na kvarove i gubitak podataka pomoću nekoliko ključnih mehanizama:

1. Replikacija particija

   • Svaka particija teme se replikuje na više brokera.
   • Ako jedan broker otkaže, podaci su dostupni na drugim replikama.

2. Potvrde zapisa (acks)

   • Proizvođač može da postavi nivo potvrde: od zapisa na jedan broker do potvrde od svih replika.
   • Ovo omogućava balansiranje između performansi i pouzdanosti.

3. Konzistentnost lidera particije

   • Za svaku particiju bira se lider koji obrađuje sve operacije zapisa i čitanja.
   • Replike se sinhronizuju sa liderom.

4. Neizmenjivi dnevnik poruka (log)

   • Poruke se zapisuju u log fajlove, što omogućava oporavak nakon kvarova.

5. Kontrola pomeranja (offsets)

   • Potrošači mogu da čuvaju svoja pomeranja, što omogućava nastavak čitanja od željenog mesta.

6. Konfiguracija parametara retencije i čišćenja

   • Omogućava upravljanje vremenom čuvanja poruka i politikama brisanja.

Ovi mehanizmi zajedno obezbeđuju visoku pouzdanost i otpornost Kafka na kvarove, minimizirajući rizik od gubitka podataka.