Kafka'nın arızalara ve veri kaybına karşı dayanıklılığını sağlayan mekanizmalar nelerdir?

Kafka, birkaç anahtar mekanizma sayesinde arızalara dayanıklılık ve veri kaybını sağlar:

1. Bölümlerin çoğaltılması

   • Her konu bölümü, birkaç broker üzerinde çoğaltılır.
   • Bir broker arızalanırsa, veriler diğer kopyalarda mevcuttur.

2. Yazma onayları (acks)

   • Üretici, onay seviyesini ayarlayabilir: bir broker’a yazmaktan tüm kopyalar tarafından onaylanmaya kadar.
   • Bu, performans ve güvenilirlik arasında denge kurmaya olanak tanır.

3. Bölüm liderinin tutarlılığı

   • Her bölüm için bir lider seçilir ve tüm yazma ve okuma işlemlerini yönetir.
   • Kopyalar, liderle senkronize olur.

4. Değiştirilemez mesajlar günlüğü (log)

   • Mesajlar, arızalardan sonra kurtarma imkanı sağlayan log dosyalarına yazılır.

5. Kaydırma (offsets) kontrolü

   • Tüketiciler, kendi kaydırmalarını kaydedebilir ve böylece okumayı ihtiyaç duyulan noktadan devam ettirebilir.

6. Retansiyon ve temizlik parametrelerinin yapılandırılması

   • Mesajların saklama süresi ve silme politikalarını yönetmeye olanak tanır.

Bu mekanizmalar birlikte, Kafka’nın arızalara karşı yüksek güvenilirliğini ve dayanıklılığını sağlar, veri kaybı riskini en aza indirir.