Jakie mechanizmy zapewniają odporność Kafka na awarie i utratę danych?

Kafka zapewnia odporność na awarie i utratę danych za pomocą kilku kluczowych mechanizmów:

1. Replikacja partycji

   • Każda partycja tematu jest replikowana na kilku brokerach.
   • Jeśli jeden broker ulegnie awarii, dane są dostępne na innych replikach.

2. Potwierdzenia zapisu (acks)

   • Producent może ustawić poziom potwierdzeń: od zapisu na jednym brokerze do potwierdzenia przez wszystkie repliki.
   • Pozwala to na wyważenie między wydajnością a niezawodnością.

3. Spójność lidera partycji

   • Dla każdej partycji wybierany jest lider, który obsługuje wszystkie operacje zapisu i odczytu.
   • Repliki synchronizują się z liderem.

4. Niezmienny dziennik wiadomości (log)

   • Wiadomości są zapisywane w plikach logów, co umożliwia odzyskanie po awarii.

5. Kontrola przesunięć (offsets)

   • Konsumenci mogą zapisywać swoje przesunięcia, co pozwala na wznowienie odczytu od potrzebnego miejsca.

6. Konfiguracja parametrów retencji i czyszczenia

   • Umożliwia zarządzanie czasem przechowywania wiadomości i politykami usuwania.

Te mechanizmy razem zapewniają wysoką niezawodność i odporność Kafka na awarie, minimalizując ryzyko utraty danych.