Какими способами и инструментами вы собирали данные из различных источников в вашем проекте?

Для сбора данных из различных источников в проектах обычно применяю следующие способы и инструменты:

• Использование API: запросы к REST или SOAP сервисам с помощью HTTP-клиентов (например, HttpClient в Java).
• Парсинг файлов: чтение CSV, JSON, XML с помощью библиотек (например, Jackson для JSON, OpenCSV для CSV).
• Интеграция с базами данных: JDBC для подключения и выборки данных из реляционных БД.
• Использование ETL-инструментов (например, Apache NiFi, Talend) для более сложных потоков данных.
• Скрипты и автоматизация: написание скриптов на Java с использованием планировщиков задач (Quartz) для регулярного сбора.

Пример простого запроса к REST API на Java с использованием HttpClient:

HttpClient client = HttpClient.newHttpClient();
HttpRequest request = HttpRequest.newBuilder()
    .uri(URI.create("https://api.example.com/data"))
    .build();

HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());
String responseBody = response.body();
// далее парсим responseBody и обрабатываем данные