Mi az a Kafka Connector?

Kafka Connector - ez egy keretrendszer az Apache Kafka-ban, amely lehetővé teszi a Kafka integrálását külső rendszerekkel (adatbázisok, fájlrendszerek, felhőalapú tárolók stb.) anélkül, hogy felhasználói kódot kellene írni. Elrejti az integráció részleteit, és szabványosított módon teszi lehetővé az adatok mozgatását.

Két típusú csatlakozó létezik:

• Forrás csatlakozók: Külső forrásokból szereznek adatokat a Kafka-ba.
• Cél csatlakozók: A Kafka-ból exportálnak adatokat külső rendszerekbe.

A Kafka Connect fő összetevői:

• Connect Worker-ek: Folyamatok, amelyekben a csatlakozók és feladatok futnak. Lehetnek standalone (fejlesztéshez és teszteléshez) vagy distributed (gyártásban, hibatűrő és skálázható módon).
• Csatlakozók: Az adatok mozgatásának logikai reprezentációja. Meghatározzák, mely adatok és hova kerüljenek.
• Feladatok: A tényleges adatmozgató egységek. Egy csatlakozó több feladattal is rendelkezhet párhuzamos feldolgozáshoz.

A Kafka Connect használatának előnyei:

• Egyszerűsítés: Nem szükséges sok boilerplate kód írása az integrációhoz.
• Megbízhatóság: Támogatja a hibatűrést, skálázhatóságot és az adatok kézbesítési garanciáit (legalább egyszer vagy pontosan egyszer, a csatlakozótól függően).
• Bővíthetőség: Könnyű saját csatlakozókat fejleszteni speciális igényekhez.
• Menedszment: A csatlakozókat REST API-n keresztül lehet kezelni.

Példa a használatra (hipotetikus, bemutató céljából):

Tegyük fel, hogy adatokat kell átvinni egy PostgreSQL adatbázisból egy Kafka témába. Használhatunk egy Forrás Csatlakozót PostgreSQL-hez.

# Példa parancs a csatlakozó létrehozására REST API-n keresztül
# Ez egy leegyszerűsített példa, a tényleges paraméterek változhatnak
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors