Miért használják a segmentio/kafka-go-t, egy könyvtár vagy kettő? Hogyan működik a producer és a consumer?

segmentio/kafka-go egy Go nyelvű könyvtár az Apache Kafka-val való munkához, amelyet a Segment fejlesztett ki. Kényelmes és hatékony API-t biztosít Kafka producerek és fogyasztók számára.

Producer a kafka-go-ban üzeneteket küld Kafka témákba. Kezeli a szériázást, a partíciózást és a kézbesítési megerősítéseket.

Consumer olvassa az üzeneteket a témákból, támogatja az offsetek kezelését, a terheléskiegyenlítést a fogyasztók között és a hibakezelést.

Példa egy producer létrehozására és üzenet küldésére:

import (
    "context"
    "github.com/segmentio/kafka-go"
)

func produce() error {
    w := kafka.Writer{
        Addr:     kafka.TCP("localhost:9092"),
        Topic:    "example-topic",
        Balancer: &kafka.LeastBytes{},
    }
    defer w.Close()

    err := w.WriteMessages(context.Background(),
        kafka.Message{
            Key:   []byte("Key-A"),
            Value: []byte("Hello Kafka"),
        },
    )
    return err
}

Ezért a kafka-go egy egységes könyvtár, amely lefedi a Kafka-val való munkálkodás főbb forgatókönyveit Go nyelven, egyszerűsítve az integrációt és növelve a megbízhatóságot.