Какво е производител в Apache Kafka?

Производител в Apache Kafka е клиентско приложение, което публикува съобщения в Kafka брокери.

Основни функции:

1. Изпращане на съобщения: Приема данни и ги изпраща към посочената тема.
2. Сериализация: Преобразува данните на съобщението в байтове преди изпращане.
3. Партициониране: Определя към коя партиция на темата ще бъде изпратено съобщението. По подразбиране се използва хеш на ключа на съобщението. Ако няма ключ, се използва round-robin или sticky partitioning.
4. Буфериране: Съобщенията временно се съхраняват в буфер преди да бъдат изпратени на партиди, което увеличава пропускателната способност.
5. Обработка на грешки: Отговаря за повторни опити при временни сривове или грешки на брокера.

Важни конфигурации:

• bootstrap.servers: Списък с хостове и портове на брокерите за начална връзка.
• key.serializer: Клас за сериализация на ключа на съобщението.
• value.serializer: Клас за сериализация на стойността на съобщението.
• acks: Ниво на потвърждение за получаване на съобщения от брокерите (0, 1, all).
• retries: Брой опити за повторно изпращане на съобщението.

// Пример за изпращане на съобщение към Kafka с използване на Java Producer API
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092"); // Адрес на брокера
props.put("acks", "all"); // Изискване за потвърждение от всички реплики
props.put("retries", 0); // Без повторни опити
props.put("linger.ms", 1); // Изпращане веднага
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // сериализатор на ключа
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // сериализатор на стойността

Producer<String, String> producer = new KafkaProducer<>(props);
for (int i = 0; i < 100; i++) {
    producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i))); // Изпращане на съобщение
}

producer.close(); // Затваряне на производителя