Для чего использовали Kafka?

Apache Kafka — это распределённая платформа потоковой передачи данных, используемая для построения систем обмена сообщениями с высокой пропускной способностью и низкой задержкой.

Основные применения Kafka:

• Передача и обработка больших потоков данных в реальном времени.
• Организация очередей сообщений между микросервисами.
• Сбор и агрегация логов и метрик.
• Построение систем событийного взаимодействия (event-driven architecture).

Kafka обеспечивает надежное хранение сообщений, масштабируемость и возможность обработки данных с помощью консьюмеров.

Пример использования на Go с библиотекой sarama:

package main

import (
    "github.com/Shopify/sarama"
    "log"
)

func main() {
    producer, err := sarama.NewSyncProducer([]string{"localhost:9092"}, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer producer.Close()

    msg := &sarama.ProducerMessage{
        Topic: "test_topic",
        Value: sarama.StringEncoder("Hello Kafka"),
    }

    partition, offset, err := producer.SendMessage(msg)
    if err != nil {
        log.Fatal(err)
    }
    log.Printf("Message sent to partition %d at offset %d", partition, offset)
}