Niyə Apache Kafka yüksək performans göstərir?

Kafka bir neçə əsas mexanizm vasitəsilə yüksək performansa çatır:

1. Diskə ardıcıl yazma: Kafka brokerləri məlumatları ardıcıl olaraq loglara (segment fayllarına) yazır. Ardıcıl yazma təsadüfi yazmadan çox daha sürətlidir, xüsusən ənənəvi disklərdə (HDD).

2. Aralıq tamponlama yoxdur: Kafka mesajları yaddaşda tamponlamır, onları diskə yazmadan əvvəl. Mesajlar qəbul edildikdən dərhal sonra yazılır, bu da gecikməni azaldır və yaddaş istifadəsini aşağı salır.

3. Əməliyyat sistemi Page Cache-dən istifadə: Brokerlər aktiv şəkildə əməliyyat sisteminin səhifə cache-dən (Page Cache) istifadə edərək məlumatları oxuyur. Bu, diskdən təkrar-təkrar oxumağı qarşısını alır və mesajların abunəçilərə çatdırılmasını əhəmiyyətli dərəcədə sürətləndirir. Broker tərəfindən diskə yazılan məlumatlar avtomatik olaraq Page Cache-ə yerləşdirilir.

4. Zero-copy: Kafka abunəçilərə məlumat göndərərkən "zero-copy" texnikasından istifadə edir (Linux-da sendfile vasitəsilə həyata keçirilir). Bu, nüvə bufferləri və istifadəçi sahəsi arasında məlumatların köçürülməsini qarşısını alır və məlumatları birbaşa brokerin Page Cache-dən şəbəkə soketinə ötürür.

   // sendfile konseptini izah edən nümunə pseudokod
   // (Həqiqi Kafka kodu deyil, yalnız ideyanın nümayişi)
   FileChannel fileChannel = ...; // Kafka log faylını oxuma kanalı
   SocketChannel socketChannel = ...; // Şəbəkə vasitəsilə məlumat göndərmə kanalı
   
   fileChannel.transferTo(0, fileChannel.size(), socketChannel); // Zero-copy əməliyyatı
   

5. Partiyalaşdırma: Kafka mesajları partiyalar şəklində göndərir və qəbul edir. Bu, şəbəkə sorğularının və disk əməliyyatlarının xərclərini azaldır. İstehsalçılar bir neçə mesajı göndərməzdən əvvəl qruplaşdıra bilər və istifadəçilər bir sorğuda bir neçə mesajı oxuya bilərlər.

6. Partitionlama: Mövzular (topics) bölmələrə (partitions) ayrılır. Hər bir bölmə müstəqil işlənir, bu da yükü bir neçə broker arasında paylamağa və oxuma/yazma əməliyyatlarını paralel həyata keçirməyə imkan verir. Bu, üfüqi miqyaslana bilmə təmin edir.

7. Sadə mesaj formatı: Mesajlar nisbətən sadə struktura malikdir, bu da serializasiya və deserializasiya xərclərini minimuma endirir.

Ümumilikdə, bu mexanizmlər Kafka-ya çox böyük həcmdə mesajları aşağı gecikmə ilə işləməyə imkan verir.