Как приложение должно определять на какой пробе что Kafka коннекты есть, топики есть? Как реализовать Health Check Kafka?

Для реализации Health Check Kafka приложение должно проверять доступность и корректность работы ключевых компонентов: брокеров, коннектов и топиков.

Основные подходы:

• Проверка подключения к брокерам: попытка установить соединение с Kafka-брокерами, например, через AdminClient.
• Проверка существования топиков: запрос списка топиков или проверка конкретных топиков через AdminClient.
• Проверка коннектов (Kafka Connect): вызов REST API Kafka Connect для получения статуса коннекторов.

Пример на Java с использованием AdminClient для проверки топиков:

Properties props = new Properties();
props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
try (AdminClient adminClient = AdminClient.create(props)) {
    Set<String> topics = adminClient.listTopics().names().get(5, TimeUnit.SECONDS);
    if (topics.contains("my-topic")) {
        // Топик существует
    } else {
        // Топик отсутствует
    }
}

Для Kafka Connect можно сделать HTTP-запрос к /connectors и проверить статус каждого коннектора.

Таким образом, Health Check должен объединять эти проверки и возвращать статус OK только если все компоненты доступны и работают корректно.