Что такое продюсер в Apache Kafka?

Продюсер в Apache Kafka — это клиентское приложение, которое публикует сообщения в брокеры Kafka.

Основные функции:

1. Отправка сообщений: Принимает данные и отправляет их в указанный топик.
2. Сериализация: Преобразует данные сообщения в байты перед отправкой.
3. Партиционирование: Определяет, в какую партицию топика будет отправлено сообщение. По умолчанию используется хеш ключа сообщения. Если ключ отсутствует, используется round-robin или sticky partitioning.
4. Бафферизация: Сообщения временно накапливаются в буфере перед отправкой пачкой, что повышает пропускную способность.
5. Обработка ошибок: Занимается повторными попытками отправки при временных сбоях или ошибках брокера.

Важные конфигурации:

• bootstrap.servers: Список хостов и портов брокеров для начального подключения.
• key.serializer: Класс для сериализации ключа сообщения.
• value.serializer: Класс для сериализации значения сообщения.
• acks: Уровень подтверждения получения сообщений брокерами (0, 1, all).
• retries: Количество попыток повторной отправки сообщения.

// Пример отправки сообщения в Kafka с использованием Java Producer API
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092"); // Адрес брокера
props.put("acks", "all"); // Требовать подтверждение от всех реплик лидером
props.put("retries", 0); // Без повторных попыток
props.put("linger.ms", 1); // Отправлять сообщения немедленно
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // Сериализатор ключа
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // Сериализатор значения

Producer<String, String> producer = new KafkaProducer<>(props);
for (int i = 0; i < 100; i++) {
    producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i))); // Отправка сообщения
}

producer.close(); // Закрытие продюсера