Ինչ է Kafka Connector-ը?

Kafka Connector - դա Apache Kafka-ում ֆրեյմվորկ է, որը թույլ է տալիս ինտեգրել Kafka-ны արտաքին համակարգերի հետ (մասամբ տվյալների բազաներ, ֆայլային համակարգեր, ամպային պահեստներ և այլն) առանց օգտագործողի կոդ գրելիս: Այն ամփոփում է ինտեգրման մանրամասները և տրամադրում ստանդարտացված միջոց տվյալների փոխանցման համար:

Կան երկու տեսակի կոնեկտորներ:

• Source Connectors: Տվյալները ներմուծում են արտաքին աղբյուրներից Kafka:
• Sink Connectors: Տվյալները արտահանում են Kafka-ից արտաքին համակարգեր:

Kafka Connect-ի հիմնական բաղադրիչները:

• Connect Workers: Դրանք պրոցեսներ են, որտեղ աշխատում են կոնեկտորներն ու առաջադրանքները: Դրանք կարող են աշխատել անկախ (standalone) կամ տարածված (distributed) ռեժիմներում:
• Connectors: Տվյալների փոխանցման առաջադրանքի տրամաբանական ներկայացում:
• Tasks: Աշխատանքային միավորներ, որոնք իրականում փոխանցում են տվյալները:

Օգտագործման առավելությունները:

• Պարզեցում ինտեգրման: Չի պահանջվում շատ boilerplate կոդ գրել:
• Համառություն: Պահպանում է անբաժանելիություն, ընդլայնելիություն և տվյալների հասցեագրման երաշխիքներ:
• Ենթակա ընդլայնման: Լավ է զարգացնել սեփական կոնեկտորներ:
• Կառավարում: Կոնեկտորները կառավարելի են REST API-ով:

Օրինակ օգտագործում (հիպոթետիկ, ցուցադրական):

Նախ ենթադրենք, որ անհրաժեշտ է փոխանցել տվյալները PostgreSQL տվյալային բազայից Kafka տոպիկ: Կարող ենք օգտագործել Source Connector-ը PostgreSQL-ի համար:

# Օրինակ հրաման կոնեկտոր ստեղծելու համար REST API-ով
# Սա պարզեցված օրինակ է, իրական պարամետրերը կարող են տարբեր լինել
curl -X POST -H "Content-Type: application/json" --data '
{
  "name": "postgres-source-connector",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:postgresql://<db_host>:<db_port>/<db_name>",
    "connection.user": "<db_user>",
    "connection.password": "<db_password>",
    "topic.prefix": "postgres-data-",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "table.whitelist": "public.users"
  }
}' http://<connect_worker_host>:<connect_worker_port>/connectors
```}}}}}}]}}}]}}]}}]}}]}}]}}]}}]}}]}}]}}]}}]}}]}}]}},{