რა არის Kafka Connector?

Kafka Connector - ეს არის ფრეიმვორკი Apache Kafka-ში, რომელიც საშუალებას აძლევს Kafka-ს ინტეგრირდეს გარეგან სისტემებთან (მონაცემთა ბაზები, ფაილური სისტემები, ღრუბლოვანი საცავი და ა.შ.) მომხმარებლის კოდის დაწერის გარეშე. იგი ამარტივებს ინტეგრაციის დეტალებს და უზრუნველყოფს სტანდარტიზებულ გზას მონაცემების გადატანისთვის.

არსებობს ორი ტიპის კონექტორი:

• Source Connectors: იღებს მონაცემებს გარეგან წყაროებიდან Kafka-ში.
• Sink Connectors: ექსპორტირებს მონაცემებს Kafka-დან გარეგან სისტემებში.

Kafka Connect-ის ძირითადი კომპონენტები:

• Connect Workers: პროცესები, სადაც მუშაობს კონექტორები და დავალებები. შეიძლება მუშაობდეს დამოუკიდებლად (standalone) ან განაწილებულად (distributed):
• Connectors: ლოგიკური წარმოდგენა მონაცემთა გადაცემის დავალებაზე. განსაზღვრავს, რა მონაცემები უნდა გადაიტანოს და სად.
• Tasks: სამუშაო ერთეულები, რომლებიც რეალურად გადმოაქვს მონაცემები. ერთ კონექტორს შეუძლია ჰქონდეს რამდენიმე დავალება პარალელური დამუშავებისთვის.

გამოყენების უპირატესობები:

• გადამარტივება ინტეგრაციის: არ არის საჭირო ბევრი boilerplate კოდის დაწერა.
• სანდოობა: მხარს უჭერს უარყოფის წინააღმდეგობას, მასშტაბირებას და მონაცემთა მიწოდების გარანტიებს (at-least-once ან exactly-once, კონექტორის მიხედვით).
• გაგრძელებადი: ადვილია საკუთარი კონექტორების შექმნა სპეციფიკური საჭიროებებისთვის.
• მართვა: კონექტორებს მართავს REST API-ით.

მაგალითი გამოყენებისთვის (ჰიპოთეტური, დემონსტრაციისთვის):

წარმოვიდგინოთ, რომ გვსურს მონაცემების გადატანა PostgreSQL მონაცემთა ბაზიდან Kafka ტოპიკში. ამისთვის შეგვიძლია გამოვიყენოთ Source Connector PostgreSQL-ისთვის:

# მაგალითი ბრძანება კონექტორის შექმნისთვის REST API-ის მეშვეობით
# ეს არის მარტივი მაგალითი, რეალური პარამეტრები შეიძლება განსხვავდებოდეს
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors
```}}}}}]}},{