В моём проекте Kafka использовалась как распределённая система обмена сообщениями для обеспечения надёжной и масштабируемой передачи данных между микросервисами. Например, сервисы публиковали события о действиях пользователей (регистрация, покупки) в топики Kafka, а другие сервисы — подписчики — обрабатывали эти события асинхронно, что позволяло разгрузить основные бизнес-процессы и повысить отказоустойчивость.

Для работы с Kafka на Go применялся клиент sarama, который позволял создавать продюсеров и консьюмеров с необходимой конфигурацией, включая управление партициями и обработку ошибок.

Пример простого продюсера на Go с использованием sarama:

package main

import (
    "log"
    "github.com/Shopify/sarama"
)

func main() {
    producer, err := sarama.NewSyncProducer([]string{"localhost:9092"}, nil)
    if err != nil {
        log.Fatal("Failed to start producer:", err)
    }
    defer producer.Close()

    msg := &sarama.ProducerMessage{
        Topic: "user-events",
        Value: sarama.StringEncoder("User registered: user123"),
    }

    partition, offset, err := producer.SendMessage(msg)
    if err != nil {
        log.Println("Failed to send message:", err)
    } else {
        log.Printf("Message sent to partition %d at offset %d\n", partition, offset)
    }
}

Как использовалась Kafka в вашем проекте?