Čo je Kafka Connector?

Kafka Connector je rámec v Apache Kafka pre integráciu Kafka s vonkajšími systémami (databázy, súborové systémy, cloudové úložiská atď.) bez písania vlastného kódu. Abstrahuje detaily integrácie a poskytuje štandardizovaný spôsob presunu dát.

Existujú dva typy konektorov:

• Source Connectors: Vťahujú dáta z vonkajších zdrojov do Kafka.
• Sink Connectors: Exportujú dáta z Kafka do vonkajších systémov.

Kľúčové komponenty Kafka Connect:

• Connect Workers: Procesy, v ktorých bežia konektory a úlohy. Môžu pracovať v standalone (pre vývoj a testovanie) alebo distributed (pre produkciu, s podporou odolnosti voči chybám a škálovania) režimoch.
• Connectors: Logické zobrazenie úlohy presunu dát. Určujú, ktoré dáta presúvať a kam.
• Tasks: Pracovné jednotky, ktoré skutočne presúvajú dáta. Konektor môže mať viacero úloh pre paralelnú spracovanie.

Výhody používania Kafka Connect:

• Zjednodušenie integrácie: Nie je potrebné písať veľa boilerplate kódu pre integráciu.
• Spoľahlivosť: Podporuje odolnosť voči chybám, škálovanie a záruky doručenia dát (at-least-once alebo exactly-once, v závislosti od konektora).
• Rozšíriteľnosť: Jednoducho vyvíjať vlastné konektory pre špecifické potreby.
• Správa: Konektory je možné spravovať cez REST API.

Príklad použitia (hypotetický, na demonštráciu):

Predstavme si, že potrebujeme preniesť dáta z databázy PostgreSQL do topiku Kafka. Môžeme použiť Source Connector pre PostgreSQL.

# Príklad príkazu na vytvorenie konektora cez REST API
# Ide o zjednodušený príklad, skutočné parametre sa môžu líšiť
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors