Co je Kafka Connector?

Kafka Connector - je rámec v Apache Kafka pro integraci Kafka s externími systémy (databáze, souborové systémy, cloudová úložiště atd.) bez psaní uživatelského kódu. Abstrahuje detaily integrace a poskytuje standardizovaný způsob přesunu dat.

Existují dva typy konektorů:

• Zdrojové konektory: Přenášejí data z externích zdrojů do Kafka.
• Cílové konektory: Exportují data z Kafka do externích systémů.

Klíčové komponenty Kafka Connect:

• Pracovníci připojení: Procesy, ve kterých běží konektory a úkoly. Mohou pracovat v režimu standalone (pro vývoj a testování) nebo distributed (pro produkci, s podporou odolnosti vůči chybám a škálovatelnosti).
• Konektory: Logická reprezentace úkolu přesunu dat. Určují, která data a kam mají být přesunuta.
• Úkoly: Pracovní jednotky, které skutečně přesouvají data. Jeden konektor může mít několik úkolů pro paralelní zpracování.

Výhody používání Kafka Connect:

• Zjednodušení integrace: Není třeba psát hodně boilerplate kódu pro integraci.
• Spolehlivost: Podporuje odolnost vůči chybám, škálovatelnost a záruky doručení dat (alespoň jednou nebo přesně jednou, podle konektoru).
• Rozšiřitelnost: Snadno vyvíjet vlastní konektory pro specifické potřeby.
• Správa: Konektory lze spravovat přes REST API.

Příklad použití (hypotetický, pro demonstraci):

Předpokládejme, že potřebujeme přenést data z databáze PostgreSQL do tématu Kafka. Můžeme použít zdrojový konektor pro PostgreSQL.

# Příklad příkazu pro vytvoření konektoru přes REST API
# Jedná se o zjednodušený příklad, skutečné parametry se mohou lišit
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors