Mis on Kafka Connector?

Kafka Connector on Apache Kafka raamistik, mis võimaldab integreerida Kafka-d väliste süsteemidega (andmebaasid, failisüsteemid, pilvesalvestid jne) ilma kasutaja koodi kirjutamata. See abstractiseerib integratsiooni üksikasju ja pakub standardiseeritud viisi andmete liigutamiseks.

On kaks tüüpi konnektoreid:

• Source Connectors: toovad andmeid välisest allikast Kafka-sse.
• Sink Connectors: ekspordi andmeid Kafka-st välissüsteemidesse.

Peamised Kafka Connect komponendid:

• Connect Workers: protsessid, kus käivitatakse konnektorid ja ülesanded. Võivad töötada standalone (arendus- ja testkeskkonnas) või distributed (tootmises, viga-tolerantsuse ja skaleeritavuse toetamiseks) režiimides.
• Connectors: loogiline esitus andmete liikumise ülesandest. Määrab, milliseid andmeid ja kuhu liigutada.
• Tasks: tööüksused, mis tegelikult andmeid liigutavad. Üks konnektor võib omada mitut ülesannet paralleelseks töötlemiseks.

Kasu Kafka Connecti kasutamisel:

• Lihtsustab integratsiooni: ei ole vaja kirjutada palju boilerplate-koodi.
• Usaldusväärsus: toetab viga-tolerantsust, skaleeritavust ja andmete kohaletoimetamise garantiisid (at-least-once või exactly-once, sõltuvalt konnektorist).
• Laiendatavus: lihtne arendada oma konnektoreid spetsiifiliste vajaduste jaoks.
• Hallatavus: konnektoreid saab hallata REST API kaudu.

Näide kasutamisest (hüpoteetiline, demonstratsiooniks):

Oletame, et soovime andmeid üle kanda PostgreSQL andmebaasist Kafka teemasse. Selleks võime kasutada Source Connectorit PostgreSQL jaoks:

# Näide käsust konnektori loomisel REST API kaudu
# See on lihtsustatud näide, tegelikud parameetrid võivad erineda
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors
```}}}}}]}},{