Kafka Bağlayıcı Nedir?

Kafka Bağlayıcı - Apache Kafka'da Kafka'yı harici sistemlerle (veritabanları, dosya sistemleri, bulut depolama vb.) kod yazmadan entegre etmek için kullanılan bir çerçevedir. Entegrasyonun detaylarını soyutlar ve verilerin taşınması için standartlaştırılmış bir yöntem sağlar.

İki tür bağlayıcı vardır:

• Kaynak Bağlayıcılar: Harici kaynaklardan Kafka'ya veri çeker.
• Gövde Bağlayıcılar: Kafka'dan harici sistemlere veri aktarır.

Kafka Bağlayıcı'nın temel bileşenleri:

• Bağlantı İşçileri: Bağlayıcıların ve görevlerin çalıştığı süreçlerdir. Bağımsız modda (geliştirme ve test için) veya dağıtılmış modda (üretim için, hata toleransı ve ölçeklenebilirlik desteği ile) çalışabilirler.
• Bağlayıcılar: Veri taşıma görevini temsil eden mantıksal yapılar. Hangi verilerin taşınacağını ve nereye taşınacağını belirlerler.
• Görevler: Gerçekten veriyi taşıyan çalışma birimleridir. Bir bağlayıcı, paralel işlem için birkaç göreve sahip olabilir.

Kafka Bağlayıcı kullanmanın avantajları:

• Entegrasyonu Basitleştirme: Entegrasyon için çok fazla boilerplate kod yazmaya gerek yoktur.
• Güvenilirlik: Hata toleransı, ölçeklenebilirlik ve veri teslim garantilerini destekler (en az bir kez veya tam olarak bir kez, bağlayıcıya bağlı olarak).
• Genişletilebilirlik: Belirli ihtiyaçlar için kendi bağlayıcılarınızı geliştirmek kolaydır.
• Yönetim: Bağlayıcılar REST API aracılığıyla yönetilebilir.

Kullanım örneği (hipotetik, gösterim amaçlı):

Bir PostgreSQL veritabanından Kafka konuya veri aktarmamız gerektiğini varsayalım. PostgreSQL için bir Kaynak Bağlayıcı kullanabiliriz.

# REST API aracılığıyla bağlayıcı oluşturmak için örnek komut
# Bu basitleştirilmiş bir örnektir, gerçek parametreler değişebilir
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors