Šta je Kafka Connector?

Kafka Connector - је оквир у Apache Kafka за интеграцију Kafka са спољним системима (базе података, датотечни системи, облачни складишта итд.) без писања корисничког кода. Он апстрахује детаље интеграције и пружа стандардизовани начин преноса података.

Постоје два типа конектора:

• Source Connectors: Увуку податке из спољних извора у Kafka.
• Sink Connectors: Експортују податке из Kafka у спољне системе.

Кључне компоненте Kafka Connect:

• Connect Workers: Процеси у којима се покрећу конектори и задаци. Могу радити у standalone (за развој и тестирање) или distributed (за продукцију, са подршком за отказоустост и скалирање) режимима.
• Connectors: Логички приказ задатка преноса података. Одређују које податке преносити и куда.
• Tasks: Радне јединице које фактички преносе податке. Конектор може имати више задатака за паралелну обраду.

Предности коришћења Kafka Connect:

• Олакшање интеграције: Нема потребе за писањем много boilerplate кода за интеграцију.
• Поузданост: Подржава отказоустост, скалирање и гаранције испоруке података (at-least-once или exactly-once, у зависности од конектора).
• Проширивост: Лако развијати сопствене конекторе за специфичне потребе.
• Управљање: Конектори се могу управљати преко REST API.

Пример коришћења (хипотетички, за демонстрацију):

Замислимо да нам је потребно пренети податке из базе података PostgreSQL у топик Kafka. Можемо користити Source Connector за PostgreSQL.

# Пример команде за креирање конектора преко REST API
# Ово је поједностављени пример, стварни параметри могу бити различити
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors