С какими источниками данных удалось поработать? Как именно происходило взаимодействие с источниками?

Работал с разными источниками данных: реляционные базы данных (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra), файловые хранилища (CSV, Parquet), а также с потоковыми данными из Kafka.

Взаимодействие происходило через API драйверов или коннекторов. Например, для SQL баз использовал ORM или прямые SQL-запросы через библиотеки, для Kafka — потребители и продюсеры на основе официальных клиентов. Для файлов — парсеры и библиотеки чтения форматов.

Пример подключения к PostgreSQL на Python:

import psycopg2
conn = psycopg2.connect(dbname='test', user='user', password='pass', host='localhost')
cursor = conn.cursor()
cursor.execute('SELECT * FROM table')
rows = cursor.fetchall()

Для потоков данных часто применялся batch- или stream-обработка с использованием Apache Spark или Flink, где данные считывались из источника, обрабатывались и записывались в хранилище.